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捷 测试 


以 持续 测试 促进 持续 交付 


知名 学 者 多 年 来 关于 敏捷 测试 的 思考 和 实践 总 结 
以 业界 优秀 实践 为 基础 ， 真 实 案 例 贯 穿 全 书 始末 
敏捷 测试 的 实践 指南 ，20 位 专业 人 士 、 学 者 力荐 
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内 容 拓 要 


互联 网 产品 的 快速 迭代 ， 让 敏捷 开发 在 各 个 领域 都 得 到 了 广泛 应 


。 同 时 ， 也 加 快 了 敏捷 测试 在 各 家 企业 落地 生根 的 进程 。 


本 书 由 测试 领域 老兵 联合 10 余 位 测试 专家 对 敏捷 测试 的 实践 经 验 汇 


、 整 理 而 成 。 本 书 分 为 10 蔓 和 4 个 附录 ， 从 敏捷 开发 和 敏捷 测试 基 
础 、 


移 、 


人 的 因素 、 敏 捷 测试 基础 设施 、 分 析 与 计划 、 设 计 与 执行 、 测 试 右 
收尾 与 改进 、 展 望 等 角度 入 手 ， 几 乎 涵盖 实现 高 效 敏捷 测试 所 需 的 


各 个 方面 的 知识 ， 详 细 介 绍 测试 思维 、 测 斌 流程、 测试 基础 设施 和 一 系 
列 的 优秀 实践 ， 对 提高 测试 效率 进而 提升 产品 交付 质量 具有 重大 的 指导 
意义 。 











本 书 理论 知识 与 实践 操作 深度 结合 ， 辅 以 思维 导 图 、 延 伸 阅 读 等 模 


块 ， 深入浅出 ， 尤 其 适合 有 一 定 测试 实践 经 验 的 软件 质量 保障 和 测试 人 


局 
风 ， 


以 及 想 要 较为 深入 了 解 敏 捷 测试 的 专业 人 士 阅读 参考 。 


对 本 书 的 赞誉 


朱 少 民 老师 是 国内 测试 领域 的 先行 者 ， 是 敏捷 测试 的 研究 者 和 探索 
者 ， 更 是 敏捷 测试 的 实践 者 和 推广 者 。 这 本 书 基于 深入 的 研究 与 思考 给 
出 了 敏捷 测试 的 详细 定义 ， 认 为 持续 测试 是 敏捷 测试 的 实质 ， 也 是 敏捷 
开发 中 真正 需要 的 测试 ， 并 强调 了 思维 模式 转变 在 有 效 敏捷 测试 中 的 重 
要 作用 。 这 本 书 从 人 员 / 组 织 与 技术 基础 设施 两 个 方面 建立 了 成 功 敏捷 
测试 的 基本 保障 ， 进 而 以 测试 左 移 与 敏捷 测试 天 然 一 臻 性、 测试 的 分 析 
与 计划 、 测 试 的 设计 与 执行 ， 以 及 从 敏捷 到 DevOps 的 测试 右 移 等 耕 干 
主题 为 主线 ， 给 出 了 敏捷 测试 落地 实施 的 一 套 完整 的 实践 方法 。 这 本 书 
既 能 从 概念 和 思维 模式 上 给 予 指导 ， 又 提供 了 系统 的 方法 论 和 完整 的 实 
践 支 持 ， 相 信和 能 给 大 家 珊 来 帮助 。 此 外 ， 阅 读 这 本 书 ， 也 解决 了 我 多 年 
纠结 的 一 个 问题 一 一 既 不 能 单纯 “ 形 而 上 ”， 又 要 避免 陷于 “ 术 ”。 道 、 
法 、 术 、 器 兼备 融合 ， 才 能 真正 做 好 一 项 开拓 性 的 工作 。 








陈晨 ， 软 通 动 力 信息 技术 (集团 ) 股份 有 限 公 司 副 总 裁 


目前 全 社会 都 在 加 速 数字 化 转型 ， 任 何 数字 化 产品 都 要 求生 产 速 度 
快 而 且 质 量 高 ， 数 字 化 产品 质量 的 把 控 已 经 不 是 测试 团队 单纯 根据 传统 
测试 方法 能 够 完成 的 。 对 于 如 何 应 对 数字 化 转型 过 程 中 软件 测试 的 挑 
战 ， 敏 捷 测 试 是 一 个 很 好 的 解决 方案 。 这 本 书 将 教 给 你 几乎 所 有 需要 了 
解 的 天 于 敏捷 测试 的 知识 。 最 让 我 深 有 感触 的 是 ， 它 强调 了 “敏捷 不 只 
古方 法， 还 是 人 和 组 织 文 化 ”。 








一 一 付 可 2 Poly 博 证 全 球 研 发 副 总 裁 


这 本 书 从 敏捷 测试 的 定义 入 手 ， 从 人 员 及 组 织 文 化 、 思 维 方式 、 工 
作 演 程 、 基 础 设施 、 人 员 职 贡 与 培养 等 多 角度 阐述 了 敏捷 测试 如 何 落 
地 ， 为 传统 测试 向 敏捷 测试 的 转型 指明 了 方 铝 。 鉴 于 作者 的 研究 背景 ， 
这 本 书 语言 更 为 严谨 ， 罗 和 辑 清 晰 ， 论 证 严密 ， 既 有 深入 思考 ， 又 有 可 以 
用 来 实践 的 具体 建议 ， 是 一 本 非常 好 的 敏捷 测试 实践 指导 手册 。 无 论 你 
是 软件 测试 的 管理 者 ， 还 是 初 入 行业 的 新 人 ， 这 本 书 都 值得 细 细 品读 。 











一 本 怀 根 ， 广 发 银行 研发 中 心 总 经 理 


不 同 于 传统 的 汕 试 相关 的 图 书 ， 这 本 书 从 测试 人 员 的 角度 阐述 了 如 
何在 实际 场景 中 落地 “敏捷 调试 ?， 并 提出 一 整套 解决 方案 来 保障 产品 质 
量 与 工程 效能 ， 有 助 于 读者 进行 学 习 和 应 用 。 


一 一 邓 月 党 ， 腾 讯 微 信 测试 中 心 总 监 


DevOps 的 精髓 在 于 “持续 "。 相 比 持续 集成 、 持 续 部 壮 等 已 广泛 落地 
的 技术 ， 持 续 测 试 在 国内 才刚 刚 兴起 。 这 本 新 书 的 出 版 正当 其 时 ， 它 不 
仅 闸 明敏 捷 测 试 之 “ 道 "， 也 能 在 “ 术 ” 的 层面 指导 软件 测试 从 业 人 员 落 地 
测试 左 移 和 测试 右 移 ， 是 一 本 不 可 多 得 的 好 书 。 





一 一 阮 志 敏 ， 飞 致 云 创始 人 羔 CEO 


任何 时 候 我 们 开始 讨论 测试 ， 总 会 有 各 种 分 卜 和 和 争论， 与 之 相伴 的 
是 整个 行业 的 困惑 。 测 试 的 行为 和 角色 在 快速 变化 和 模糊 不 确定 的 时 代 
中 演变 。 





汕 试 是 一 种 活动 ， 而 不 是 一 个 阶段 ; 测试 是 覆 兰 全 生命 周期 的 ， 既 
要 左 移 ， 叉 要 右 移 ;质量 是 内 建 的 ， 而 不 是 通过 检查 获得 的 ， 测试 是 属 
于 团队 的 ， 而 不 是 一 种 个 人 行为 。 


是 否 称 之 为 敏捷 并 不 重要 ， 这 一 切 剖 只 是 在 回归 软件 开发 的 本 源 ， 
回归 测试 这 一 活动 的 初 心 ， 回 归 测 试 本 该 有 的 样子 。 


朱 少 民 老师 在 业界 耕耘 多 年 ， 有 资深 的 行业 背景 、 严 说 的 学 术 态 
度 ， 勤 于 思考 和 写作 ， 乐 于 学 习 与 分 享 ， 是 我 极为 佩服 与 敬重 的 一 位 师 
Re ee 希望 广大 读者 可 以 
享受 测试 ， 享 受 它 给 你 带 来 的 启发 和 乐趣 。 

















一 一 姚 冬 ， 华 为 云 应 用 平台 部 首席 技术 布道 师 
中 国 DevOps 社 区 核心 组 织 者 
IDCF 社 区 联合 发 起 人 


2020 年 注定 是 不 平凡 的 一 年 ， 也 许 会 成 为 新 一 轮 数 字 化 转型 浪潮 的 
起 点 。 在 《敏捷 宣言 》 诞 生 近 20 年 、DevOps 运 动 风靡 全 球 10 多 年 之 后 
的 今天 ， 如 何在 保证 质量 的 前 提 下 快速 交付 有 效 的 产品 价值 依然 是 摆 在 
很 多 企业 面前 的 难题 。 交 付 速 度 可 以 是 变量 ， 退 求 越 来 越 快 ， 而 交付 质 
量 和 安全 性 是 必须 力 保 的 常量 ， 测 试 已 经 成 为 很 多 企业 敏捷 交付 过 程 中 
最 大 的 瓶 诺 。 这 本 书 有 别 于 市 场 上 其 他 讨论 测试 实践 的 书 ， 它 在 数字 化 
时 代 的 大 背景 下 从 敏捷 的 视角 来 谈 测试 ， 系 统 地 阐述 了 敏捷 测试 的 理 
念 、 原 则 、 方 法 、 实 践 和 工具 如 何 落地 ， 既 有 整体 方法 框架 ， 又 有 大 量 











沙 地 实践 和 从 真实 案例 总 结 出 来 的 经 验 。 更 难能可贵 的 是 ， 作 者 希望 
能 “ 授 之 以 渔 ”， 即 让 读者 不 仅 能 学 习 如 何 做 敏捷 测试 ， 还 能 体会 如 何在 
敏捷 测试 中 ， 培 养 出 敏捷 测试 的 思维 ， 打开 更 广阔 的 专业 视野 。 这 本 书 
的 编排 非常 用 心 ， 每 章 开 头 通 过 思维 导 图 进行 引导 ， 每 章 结 尾 有 延伸 阅 
读 ， 非 党 有 指导 性 和 实践 价值 。 我 将 本 书 推荐 给 测试 领域 和 对 测试 感 兴 
趣 的 朋友 。 





张 乐 ， 和 泵 东 DevOps 与 研发 效能 技术 忌 监 、 首 席 染 构 师 





我 是 从 互联 网 企业 成 长 起 来 的 测试 人 。 传 统 软件 以 年 为 单位 制定 、 
迭代 规划 ， 而 互联 网 时 代 ， 期 待 更 快速 、 更 灵活 的 模式 。 大 量 研发 组 织 
正在 或 即将 从 传统 转型 至 敏捷 ， 在 理念 、 方 法 、 技 术 和 团队 等 方面 都 面 
临 着 迭代 升级 。 这 本 书 作者 从 事 和 观察 这 个 领域 多 年 ， 具 备 丰 富 的 理论 
与 实 操 经 验 ， 他 的 新 书 能 提供 有 价值 的 参考 ， 值 得 一 读 。 








一 一 钱 承 君 ， 哗 哩 哗 哩 测试 中 心 负 责 人 


“这 是 一 个 最 好 的 时 代 ， 这 是 一 个 最 坏 的 时 代 。” 这 是 写 于 158 年 前 
的 经 典 名 句 ， 放 在 今天 来 看 ， 依 旧 不 过 时 。 软 件 测试 的 理念 在 敏捷 开 友 
模式 的 冲击 下 正 发 生 着 天 翻 地 禾 的 抵 层 逻辑 变化 ， 如 果 不 能 系统 地 掌握 
高 效 敏捷 测试 的 理论 体系 与 方法 ， 束 很 难 在 瞬 奶 万 变 的 VUCA 时 代 立 
足 ， 而 这 本 书 可 以 带 你 进入 敏捷 测试 殿 蔚 ， 非 常 值得 你 仔细 阅读 。 





一 一 六 炳 属 ， 腾 讯 技 术 工 程 事业 群 基础 架构 部 T4 级 专家 


腾讯 研究 院 特约 研究 员 


畅销 书 《 测 试 工程 师 全 栈 技术 进 阶 与 实践 》 作 者 





敏捷 测试 是 DevOps 时 代 最 佳 质量 工程 解决 方案 ， 已 经 “ 火 " 了 许多 
年 ， 但 目前 为 止 仍 有 不 少 同行 对 它 处 于 不 其 了 解 的 状态 。 





这 本 书 作者 学 识 渊博 ， 无 其 是 对 人 敏捷 测试 这 一 新 领域 销 研 多 年 ， 这 
本 书 是 他 的 厚积薄发 之 作 。 这 本 书 讲 透 了 敏捷 测试 的 道 、 法 、 术 、 器 ， 
古 业 内 驳 验 者 凝练 的 经 验 总 结 ， 相 信 读 者 看 完 后 一 定 能 够 刷新 认 知 、 升 
级 技能 ， 并 且 受 用 终 映 。 





一 一 段 柱 伟 ， 腾 讯 WeTest 产 品 总 监 


随 着 移动 化 、 云 化 和 智能 化 技术 的 飞速 友 展 ， 敏 捷 测试 也 面临 着 新 
的 挑战 。 如 何 升级 你 的 敏捷 测试 解决 方案 ? 敏捷 测试 中 引入 了 哪些 新 的 
方法 、 技 术 和 工具 ? 如何 做 到 持续 测试 来 文 撑 持续 交付 ?相信 读者 可 以 
从 这 本 书 中 逐一 找到 想 要 的 答案 。 这 本 书 既 有 关于 敏捷 测试 体系 化 的 
道 、 法 、 术 、 锋 的 阐述 ， 又 有 丰富 的 业界 优秀 实践 案例 。 


一 一 金 晖 ( 定 源 ) ， 阿 里 巴巴 淘 系 技术 部 高 级 测试 开发 专家 





能 够 快速 适应 市 场 需 求 的 变化 ， 根 据 需 求 调整 开 及 的 内 容 和 进度 是 
每 一 个 互联 网 公司 努力 追求 的 目标 。 在 这 种 情况 下 ， 敏 捷 开 发 模式 以 高 
速 迭 代 、 频 繁 交 付 、 灵 活 适 应 需求 变化 等 特点 ， 在 各 个 工程 领域 得 到 了 
广泛 应 用 。 随 着 敏捷 开发 的 发 展 ， 软 件 测试 工程 师 也 面临 着 更 多 的 挑 
战 。 





这 本 书 针对 “敏捷 * 九 九 道 来 : 开 坑 回顾 了 敏捷 开发 的 原则 、 方 法 及 


其 框架 技术 ; 接 下 来 对 敏捷 测试 涉及 的 测试 方法 、 测 试 流程 、 测 试 技 
术 、 测 试 工具 和 最 佳 实践 等 进行 了 深入 且 细 致 的 阐述 ;， 最后， 把 敏捷 测 
试 这 一 实践 性 很 强 的 技术 提 到 一 个 新 的 高 度 ， 对 提高 测试 效率 进而 提升 
品 交 付 质 量具 有 重大 的 指导 意义 。 











HH 


陈 洋 ， 小 米 IoT 开 发 者 平台 测试 中 心 总 监 








当 “ 黑 天 鹅 ” 事 件 越 来 越 多 地 发 生 在 我 们 的 喘 边 时 ， 如 何 适 应 变化 ， 
并 且 在 快速 变化 中 持续 交付 高 质量 产品 ， 成 为 当下 研发 团队 的 核心 目 
标 。 而 在 高 频 的 持续 交付 下 如 何 保 证 产品 的 高 质量 ， 如 何 让 测试 团队 从 
瀑布 模式 转化 为 与 团队 共 担 的 敏捷 模式 ， 形 成 质量 内 建 ， 这 本 书 从 敏捷 
发 展 历史 到 理念 ， 再 到 工具 ， 给 出 了 全 局 性 指导 ， 是 落地 敏捷 测试 的 一 
本 佳作 。 








一 一 去 屋 ，TestOps 测 试 运 维 开拓 者 ，《 敏 捷 测 试 实战 指南 》 作 者 


随 着 敏捷 开发 的 广泛 应 用 ， 敏 捷 测试 也 逐渐 受到 广泛 关注 ， 并 引 
得 “百家争鸣 ”"。 这 本 书 是 作者 多 年 的 经 验 总 结 ， 从 敏捷 测试 的 理论 基础 
到 实践 操作 ， 系 统 地 介绍 了 敏捷 测试 的 各 个 方面 ， 和 是 一 本 很 好 的 学 习 敏 
捷 测 试 的 参考 书 。 


一 一 刘 冉 ，ThoughtwWorks 首 席 测试 与 质量 咨询 师 





当前 国内 敏捷 领域 测试 相关 的 著作 非常 少 ， 这 本 书 作为 补充 ， 系 统 
地 介绍 了 敏捷 测试 的 体系 ， 不 仅 有 完善 的 理论 ， 还 包括 了 丰富 的 实践 和 
案例 ， 非 党 值得 读者 仔细 阅读 。 





陈 晓 有 揭 ， 德 勤 管 理 咨 询 (上海) 有 限 公 司 系统 集成 业务 线 测 试 负 
责 人 


敏捷 测试 并 不 是 一 个 新 概念 。 我 拜读 这 本 新 书 ， 全 今 意犹未尽 。 这 
本 书 实际 上 是 一 本 介绍 在 当今 开发 高 速 欠 代 的 情况 下 软件 测试 策略 的 
书 。 这 本 书 融 会 了 敏捷 的 方方面面 ， 并 基于 实际 问题 提出 了 具 体 建 议 ， 
恰如其分 地 融合 了 新 的 观点 与 技术 ， 对 软件 团队 及 管理 者 关于 软件 质量 
构建 具有 重要 的 指导 意义 。 








一 一 耿 晓 倩 ，Splunk 公 司 总 部 测试 开 有 总监 





这 是 一 本 将 近年 来 领域 内 最 新 的 理论 与 实践 相 结合 的 不 可 多 得 的 好 
书 ! 随 着 敏捷 和 DevOps 的 兴起 ， 软 件 测试 的 方法 、 工 具 和 从 业 人 员 都 
面临 着 巨大 的 挑战 。 一 方面 ， 这 本 书 更 加 体系 化 地 梳理 并 构建 了 敏捷 测 
试 的 理论 基础 ， 忆 一 方面 ， 这 本 书 以 深入 浅 出 的 方式 介绍 了 在 实际 工程 
中 如 何 应 用 理论 与 工具 落地 敏捷 测试 ， 给 软件 测试 工程 师 和 管理 者 提供 
了 敏捷 环境 下 具体 可 行 的 指导 办 法 。 它 将 带 您 开启 敏捷 测试 的 探索 之 
版 ! 


陈 飞 ， 独 立 敏捷 教练 、 质 量 教练 





作为 最 早 在 国内 推进 敏捷 测试 的 践 行 者 之 一 ， 作 者 将 自己 多 年 关于 
敏捷 测试 的 心得 体会 汇聚 于 此 。 这 本 书 循序 渐进 地 为 读者 硅 清 一 整 条 敏 
捷 测 试 脉络 ， 同 时 将 业界 公司 实际 使 用 的 工具 、 框 架 、 方 案 完整 地 以 图 
文 、 代 码 的 方式 呈现 ， 实 操 性 极 强 。 对 于 想 要 了 解 敏捷 测试 ， 并 希望 从 
中 获 葡 的 个 人 或 正 从 传统 模式 转型 敏捷 模式 的 团队 ， 这 本 书 十 分 值得 认 





真 阅读 。 读 者 可 以 跟随 全 书 的 主 脉 络 及 每 章 结尾 处 的 延伸 阅读 构建 出 适 
用 于 上 自 喘 和 团队 的 敏捷 测试 图 谱 。 








一 一 张 宏 博 ， 字 市 跳动 资深 测试 开 友 工程 师 


让 敏捷 测试 成 为 数字 化 基础 能 力 





数字 化 浪 漳 正 一 浪 高 过 一 浪 地 多 来 ， 处 于 核心 的 软件 开发 持续 高 速 
演进 ， 让 我 们 这 些 从 业者 倍 感 焦虑 。 对 软件 开发 行业 的 领导 者 来 说 ， 至 
天 重要 的 一 点 是 在 高 速 发 展 的 过 程 中 逐步 深化 认 知 ， 提 烁 出 变化 中 不 变 
的 东西 ， 既 帮助 当下 的 从 业者 拨 开 迷雾 ， 又 能 够 让 后 继 者 少 走 索 路 。 对 
比 很 多 领域 ， 软 件 行 业 实则 很 缺乏 这 样 的 积淀 ， 也 缺乏 类 似 这 本 书 从 专 
业 视 角 所 做 的 系统 性 总 结 。 




















对 于 软件 测试 工作 一 直 存 在 看 两 个 极端 ， 一 个 极端 源 自 于 便 件 生 产 
迁移 过 来 的 专人 人 专用， 测试 就 是 测试 人 员 的 贡 任 的 做 法 ;， 男 一 个 极 问 是 
软件 开发 不 需要 测试 ， 开 发 人 员 必 须 是 “多 面 手 ” 的 不 切实 际 的 想法 。 产 
生 这 些 误解 的 背后 原因 ， 正 是 这 本 书 作 者 希望 通过 “敏捷 测试 "去 澄清 
的 。 





在 帮助 组 织 推行 敏捷 开发 的 十 多 年 时 间 里 ， 测 试 一 二 古 个 “老大 
难 ” 领 域 ，《 敏 捷 宣 言 》 的 倡议 在 测试 领域 是 典型 的 知 易 行 难 ， 大 家 都 
知道 沟通 和 协作 的 重要 性 ， 但 一 谈 到 最 后 的 问题 责任 认定 ， 每 个 角色 都 
希望 把 测试 的 烦恼 留 给 别人 。 于 是 经 常 出现 开 发 人 员 抱 怨 测试 人 员 不 给 
力 ， 测 试 人 员 抱 级 开发 人 员 不 按时 完成 的 情况 。 而 这 些 问 题 往往 家 宏观 
的 理念 所 忽视 ， 从 持续 集成 到 DevOps， 测 试 方面 的 敏捷 可 能 仅仅 是 一 
笔 带 过 , “质量 内 建 ， 人 人 训 试 ?好 似 面 癌 对 象 编程 一 样 ， 已 经 是 普 适 性 
能 力 。 当 然 ， 事 实 并 非 如 此 ， 这 本 书 的 目录 就 可 以 帮助 大 家 体会 到 这 样 














一 个 系统 性 工程 的 复杂 性 。 








这 本 书 作者 对 于 “高 效 敏捷 测试 ”的 总 结实 际 上 是 对 于 一 个 组 织 软 件 
研发 质量 保障 体系 的 剖析 。 面 对 云 和 智能 技术 的 普及 ， 很 多 敏捷 测试 理 
念 的 落地 必然 会 有 更 多 的 选项 ， 实 施 的 门槛 也 会 逐步 降低 。 现 在 我 们 面 
临 的 最 大 的 挑战 仍然 是 思想 观念 的 转变 ， 这 也 是 我 钦佩 这 本 书 作 者 之 一 
朱 少 民 老 师 之 处 。 朱 少 民 老师 能 够 通过 自己 在 敏捷 测试 领域 的 专业 能 
和 热诚 ， 影 响 一 个 又 一 个 的 组 织 和 企业 ， 让 正确 的 敏捷 测试 思想 为 更 多 
的 团队 所 接受 ， 与 此 同时 ， 他 还 在 不 断 地 关注 和 吸纳 更 多 的 前 沿 技术 。 


最 后 ， 我 相信 这 本 书 的 出 版 仅仅 是 我 们 讨论 敏捷 测试 如 何 更 加 局 效 
地 在 组 织 落 地 的 开始 ， 也 会 推动 这 个 领域 的 持续 碰撞 和 总 结 。 随 着 数字 
化 的 深入 ， 敏 捷 测 试 会 成 为 很 多 数字 化 业务 的 关注 重点 。 让 我 们 一 起 路 
上 这 本 书 提倡 的 敏捷 测试 之 旅 吧 ! 


当然 
ThoughtWorks 创 新 总 监 
中 国 敏捷 教练 企业 联盟 秘书 长 


2020 年 12 月 


持续 适应 与 优化 助力 融 效 敏捷 测试 党 地 


我 认识 朱 少 民 老师 是 在 2019 年 召开 的 一 个 天 于 DevOps 的 交流 大 会 
上 。 当 时 ， 他 做 了 一 场 题 为 “业务 驱动 的 DevOps 智 能 闭环 ”的 演讲 ， 这 个 
题目 对 于 我 这 个 还 在 IT 企业 内 部 大 规模 推进 DevOps 的 人 来 说 ， 还 是 有 
点 超前 的 。 在 那 次 大 会 期 间 ， 朱 少 民 老师 现场 签 售 《全 程 软件 测试 (第 
3 版 )》 这 本 书 ， 我 晤 不 犹豫 地 买 了 下 来 。 虽 然 我 当时 在 测试 领域 涉 
不 深 , 但 同样 对 他 渊博 的 知识 产生 敬佩 之 情 。 后 来 ， 我 与 朱 少 民 老 师 在 
复旦 大 学 茧 奢 老 师 牵 头 主办 的 “智能 化 软件 开发 沙龙 ”的 访谈 中 有 过 多 次 
交流 。2020 年 ， 我 受 朱 少 民 老 师 邀 请 ， 担 任 QECon 大 会 DevOps 分 会 场 
的 出 品 人 。 





朱 少 民 老 师 的 这 本 新 书 旨 在 实现 软件 持续 交付 ， 并 且 更 有 效 地 推进 
DevOps 的 实施 。 乔 染 老 师 有 人 句 名 言 : 流程 和 工具 持续 优化 所 能 达到 的 
最 局 境界 就 是 让 开发 者 成 为 敌人 席 。 而 要 达到 这 个 “终极 目标 ?"， 以 及 学 会 
如 何 解决 “测试 瓶颈 ”的 问题 ， 读 者 也 许可 以 从 这 本 书 中 找到 一 些 思 路 。 
这 本 书 在 每 章 开 始 用 思维 导 图 的 方式 概述 本 章 内 容 ， 每 章 的 结尾 处 有 小 
结 和 延伸 阅读 ， 帮 助 读者 思考 。 这 本 书 一 开始 从 测试 四 象限 入 手 ， 总 结 
了 当前 流行 的 分 层 测 试 框架 ， 并 结合 最 新 的 思维 方式 和 流程 ， 提 出 新 的 








敏捷 测试 四 象限 ， 接着， 束 是 解决 人 的 “思想 ”问题 ， 只 有 了 解 影响 变 单 
的 本 质 一 一 人 的 思想 问题 ， 才 能 更 好 地 使 用 后 续 间 市 所 提 到 的 工具 和 基 


础 设施 。 


我 们 在 刚 进 行 敏捷 试点 的 时 候 ， 吕 煞 老 师 给 我 们 进行 Scrum 培 训 ， 
其 中 给 我 留 下 深刻 印象 的 是 “ 候 乌 迁徙 ?的 例子 : 它们 持续 在 做 “适应 和 
调整 ”。 在 VUCA 时 代 ， 如 何 更 好 地 适应 变化 ， 是 企业 实现 数字 化 转型 
的 重要 能 力 。 虽 然 这 是 一 本 关于 测试 的 书 ， 但 是 其 实 它 是 从 测试 如 何 更 
好 地 适应 新 的 器 到 问 研 发 流程 的 角度 进行 盖 述 的 。 为 了 更 好 地 进行 敏捷 
测试 ， 不 但 要 对 业界 当前 流行 的 基础 设施 技术 、 容 器 技术 、 微 服务 架 
构 、 各 类 DevOps 实 践 和 工具 进行 了 解 ， 而 且 要 进一步 左 移 ， 了 解 产 品 
需求 分 析 和 价值 分 析 的 工具 ， 了 解 TDD “〈 测 试 驱动 开发 ) ， 领 域 驱动 开 
发 和 设计 ， 以 及 实例 化 需求 等 实践 和 方法 。 另 外 ， 为 了 应 对 微服 务 架 构 
给 测试 市 来 的 挑战 ， 实 现 低 风险 的 部 署 ， 支 持 持续 的 灰 度 发 布 ， 敏 捷 测 
试 也 要 右 移 ， 通 过 在 线 的 方式 进行 高 效 的 验证 测试 。 如 果 你 关注 过 
Gartner 的 报告 ， 一 定 听 说 过 技术 成 熟 度 曲线 〈 或 者 称 为 “炒作 ?曲线 ) ， 
在 2020 年 发 布 的 Agile 和 DevOps 技 术 成 熟 度 曲线 中 ， 测 试 自治 


(autonomous testing) 、 持 续 质 量 (continuous quality) 、 混 沌 工程 











(chaos engineering) 和 性 能 工程 (performance engineering) 都 出 现在 
技术 成 熟 度 曲线 的 “创新 触 上 友 区 ”。 如 果 你 正在 寻找 关于 这 些 实践 的 沙 地 
方法 ， 可 以 参考 朱 少 民 老 师 写 的 这 本 书 。 








“ 想 ， 都 是 问题 ， 做 ， 才 有 答案 ”， 这 是 招商 银行 田 惠 宇 行 长 在 我 行 
进行 Fintech 战 略 转 型 时 所 说 的 一 句 话 。 其 实 ， 在 实现 高 效 的 敏捷 测试 
时 ， 也 是 一 样 : 在 推行 DevOps 和 持续 交付 的 过 程 中 ，J 形 曲线 (“ 烟 
斗 ? 曲 线 ) 一 一 迎 来 小 波峰 后 束 会 因为 测试 的 原因 掉 入 大 波 谷 一 一 是 绕 
不 过 的 “ 坎 "。 最 后 ， 希 望 这 本 书 能 为 读者 找到 行动 的 方向 和 还 来 指引 。 








陈 展 文 





招商 银行 总 行 信息 技术 部 DevOps 推 广 负 责 人 、 资 深 专家 


2020 年 12 月 


写作 本 书 的 缘由 





20 年 前 ，《 敏 捷 宣 言 》 发 布 ， 正 式 宣告 敏捷 开发 模式 诞生 ， 但 敏捷 
开发 模式 在 国内 被 采纳 的 时 间 相 对 比较 迟 。2006 年 6 月 ， 首 届 “ 敏 捷 中 
国 ” 开 发 者 大 会 在 北京 召开 。 腾 讯 、 华 为 等 一 些 头 部 企业 ， 从 2007 年 开 
始 敏捷 试点 。 而 “敏捷 测试 ”的 提出 和 应 用 则 更 晚 一 些 ，2009 年 ， 国 外 出 
版 了 第 一 本 关于 敏捷 测试 的 书 ， 然 而 敏捷 测试 的 正式 定义 直到 2017 年 才 
给 出 《根据 国际 敏捷 联盟 官方 网 站 的 记录 ) 。 





2010 年 ， 笔 者 在 《程序 员 》 杂 志 上 发 表 过 一 篇 文章 《敏捷 测试 的 方 
法 和 实践 》。2011 年 ， 笔 者 又 在 这 本 杂志 上 发 表 了 文章 《敏捷 测试 的 思 
考 和 新 发 展 》， 谈 到 “在 BDD 行 为 驱动 开发 ) 、ATDD 验收 测试 驱 
动 开 发 ) 和 TDD (测试 驱动 开发 ) 最 根本 的 、 共 同 的 思想 基础 上 ， 构 成 
一 个 全 新 的 、 更 完善 的 敏捷 测试 框架 ”。 此 后 ， 笔 者 陆续 写 了 不 少 文 
章 ， 如 《究竟 什么 是 敏捷 测试 》 《如 何不 让 测试 成 为 敏捷 的 绊脚石 》 
等 。 至 于 敏捷 测试 相关 话题 的 文章 就 更 多 了 ， 涉 及 自动 化 测试 、 探 索 式 
测试 和 DevOps 等 。 如 果 读 者 有 兴趣 ， 那 么 可 以 去 笔者 的 公众 号 “软件 质 


量 报道 ?里 阅读 。 








笔者 是 国内 最 早 开 始 思 考 软件 测试 如 何 适 应 开发 敏捷 化 并 且 一 直 坚 


持 下 来 的 那 批 人 之 一 ， 也 正 是 基于 坚持 ， 在 不 平凡 的 2020 年 ， 逆 行 而 
上 ， 在 拉 勾 教育 开设 了 “高 效 敏 捷 汕 试 ? 专 栏 ， 经 过 4 个 多 月 的 努力 ， 
满 实现 阶段 性 目标 。 在 此 专栏 的 基础 上 ， 笔 者 又 重新 整理 ， 丰 富 内 容 ， 
形成 本 书 。 





敏捷 测试 的 友 展 





这 些 年 ， 敏 捷 开 发 在 国内 已 经 流行 起 来 ， 敏 捷 测 试 也 有 了 较 大 进 
步 ， 加 上 DevOps (development 和 operation 的 组 合 词 ， 是 一 组 过 程 、 方 
法 与 系统 的 统称 ) 的 兴起 ， 进 一 步 推 动 了 测试 左 移 〈 测 试 前 移 ) 和 测试 
右 移 (在 线 测试 ) 的 发 展 。 例 如 ， 大 家 开始 重视 软件 的 持续 构建 
Ccontinuous build，CB ) 和 测试 自动 化 ， 大 量 使 用 体现 敏捷 测试 思想 的 
开源 工具 ， 开 始 探索 通过 软件 测试 平台 提供 各 种 测试 服务 。 


有 些 公 司 开 始 在 流程 上 明确 要 求 在 设计 、 编 程 前 要 明确 用 户 故 事 
Cuser story，US) 的 验收 标准 ， 即 开始 推行 ATDD; 有 些 大 型 金融 机 构 
开始 推行 BDD， 开 始 使 用 自 带 BDD 的 自动 化 测试 框架 ; 有 些 团队 更 加 
关注 探索 式 测 试 ， 在 有 些 团队 中 ， 测 试 人 员 和 开发 人 员 更 加 融合 ， 在 一 
个 看 板 上 一 起 讨论 测试 任务 。 





这 些 均 说 明敏 捷 测 试 的 思想 和 方法 是 经 得 起 时 间 考 验 的 ， 也 说 明 测 
试 同行 在 探索 和 推广 敏捷 测试 方面 确实 取得 了 一 定 的 成 效 。 








但 有 很 多 人 对 于 敏捷 测试 的 理解 依然 不 够 准确 。2013 年 ， 笔 者 在 
InfoQ【〔 极 客 邦 科技 旗下 的 全 球 社区 网 站 ) 上 发 表 了 《 完 竟 什么 是 敏捷 


测试 》 这 篇 文章 ， 认 真 探 讨 了 敏捷 测试 的 内 涵 。 如 今 8 年 过 去 了 ， 这 种 
情况 依然 没有 明显 改善 ， 这 导致 基于 敏捷 的 测试 实践 往往 形似 而 神 不 

似 ， 更 糟糕 的 是 ， 根 据 2019 年 的 相关 调查 数据 显示 ， 软 件 测 试 己 经 成 为 
敏捷 交付 的 最 大 瓶颈 。 导 致 这样 的 局 面 的 主要 问题 有 : 








对 测试 重视 不 够 ， 持 续 交 付 (continuous delivery，CD) 倒 副 持续 
测试 ， 但 无 法 做 到 持续 测试 ; 

面 对 软 件 开发 新 模式 缺乏 应 对 策略 ， 甚 至 连 基 于 风险 的 测试 策略 都 
没有 很 好 地 进行 实施 ; 

测试 和 开发 协同 工作 不 力 ， 开 发 对 上 自动 化 测试 的 支持 力度 不 够 ， 导 
致 自动 化 测试 代价 比较 高 ; 

热衷 于 招聘 测试 开发 人 员 、 重 复 千 轮子， 自动化 测试 成 效 比 较 低 ， 
测试 效率 也 偏 低 ; 

热衷 于 技术 ， 但 缺乏 对 测试 自身 的 思考 ， 真 正 的 测试 能 力 没 有 显著 
提升 ; 

企业 质量 文化 没有 形成 ， 缺 陷 预 防 做 得 不 够 ， 甚 至 质量 管理 的 基础 
配置 都 已 “年 久 失修 ”。 











看 到 这 些 问题 ， 以 及 敏捷 中 的 测试 处 在 比较 糟糕 的 境地 ， 笔 者 心里 
非常 着 乱 。 这 是 笔者 开设 专栏 、 写 书 的 一 个 重要 原因 。 











敏捷 测试 是 个 为 伪 命 题 





如 果 敏 捷 团 队 成 为 目 组 织 的 特性 团队 ， 团 队 对 质量 测试 负责 ， 开 发 
人 员 也 热衷 于 测试 工作 ， 或 者 说 ,测试 是 每 个 研发 人 员 的 日 第 工作 中 的 
一 部 分 ， 就 没有 独立 的 测试 ， 开 发 和 测试 彻底 融合 ， 敏 捷 测 试 就 是 一 个 








但 是 现实 不 是 这 样 的 ， 即 使 今天 又 前 进 了 一 步 ， 从 敏捷 走 问 
DevOps， 许 多 开发 人 员 依 旧 缺 乏 质量 意识 ， 不 能 构建 高 质量 的 设计 和 
代码 ， 也 不 能 很 好 地 完成 单元 测试 、 集 成 测试 等 工作 ， 甚 至 单元 测试 相 
较 十 几 年 前 没有 什么 改善 ， 他 们 更 不 乐意 去 做 系统 测试 、 业 务 验 收 测 
试 ， 测 试 还 是 由 一 些 专 门 的 测试 人 员 来 做 。 在 这 种 环境 下 ， 敏 捷 测 试 就 


不 是 一 个 伪 命 题 。 




















正如 前 面 所 说 ， 软 件 测 试 已 经 成 为 敏捷 交付 过 程 中 的 最 大 瓶 陆 。 如 
果 不 打 破 这 个 瓶 陆 ， 惑 不 可 能 实现 人 敏捷、DevOps 最 主要 的 目标 一 一 持 
续 交 付 。 笔 者 写 这 本 书 ， 就 是 为 了 帮助 读者 所 在 的 团队 实现 这 一 目标 。 
要 实现 这 一 目标 ， 就 是 要 做 到 持续 测试 。 于 是 笔者 最 近 一 段 时 间 一 直 强 
调 “ 敏 捷 测试 整 等 于 持续 测试 *?。 如 果 做 不 到 持续 测试 ， 束 做 不 到 持续 交 
付 ， 也 就 做 不 到 敏捷 和 DevOps; 如 果 做 到 了 持续 测试 ， 那 么 任何 时 候 
都 可 以 局 动 测 试 ， 任 何 时 候 都 可 以 完成 必要 的 测试 ， 比 如 两 周 是 一 个 碗 
代 周 期 ， 那 两 周 也 能 完成 所 有 必要 的 测试 。 只 有 做 到 持续 测试 ， 才 能 
撑 持 续 交 付 ， 才 能 跟 上 不 断 出 现 的 市 场 变化 的 速度 ， 才 能 满足 这 样 的 市 
场 环境 中 的 用 户 。 














敏捷 测试 不 但 是 持续 测试 ， 拥 有 《敏捷 宣言 》 所 倡导 的 价值 观 ， 遵 
守 敏捷 开发 的 原则 ， 而 且 也 包括 一 套 软 件 测 试 的 解决 方 采 ， 包 括 测 试 思 
维 、 测 试 流程 、 测 试 基础 设施 和 一 系列 的 优秀 实践 等 ， 最 大 限度 地 实现 
高 效 测试 ， 持 续 改 进 。 


写本 书 的 其 他 原因 


敏捷 测试 及 展 到 今天 ， 有 很 多 成 功 的 经 验 ， 也 有 一 些 失 败 的 教训 。 
现在 是 一 个 信息 爆炸 的 时 代 ， 网 络 上 关于 敏捷 测试 的 信息 很 多 ， 各 种 观 
点 都 有 : 有 的 缺乏 系统 透彻 的 阐述 ， 有 的 “鱼目混珠 ”， 有 的 甚至 党 得 敏 
捷 测 试 是 个 仅 ， 什 么 好 东西 都 想 往 里 装 。 因 此 想 分 辩 什 么 是 真正 有 效 的 
敏捷 测试 束 变 得 更 加 困难 。 








关于 敏捷 测试 ， 市 面 上 已 有 两 本 书 《 敏 捷 软件 测试 : 测试 人 员 与 敏 
捷 团 队 的 实践 指南 》《 深 入 敏捷 测试 ， 整个 敏捷 团队 的 学 习 之 旅 》 
(Lisa Crispin 和 Janet Gregory 合 著 ) ， 但 是 看 过 这 两 本 书 的 一 些 读者 反 
映 ， 在 对 内 容 的 理解 上 还 是 比较 模糊 ， 难 以 获得 真正 可 以 落地 实施 的 敏 
捷 测 试 解决 方案 。 本 书 可 以 帮助 读者 重新 认 知 敏捷 测试 ， 帮 助 读 者 显著 
提升 个 人 的 测试 能 力 ， 力 求 将 敏捷 测试 真正 落地 实践 ， 助 持续 交付 一 辟 
之 力 ， 扫 除 其 前 进 路 上 的 障碍 。 








本 书 内 容 安 排 和 阅读 指导 





敏捷 测试 涉及 很 多 内 容 ， 它 是 一 套 适合 或 顺应 敏捷 开发 的 解决 方 
采 ， 包 含 测 试 思 维 、 测 试 人 员 / 组 织 、 测 试 技术 、 测 试 方法 、 测 试 流程 
和 工具 等 方面 。 本 书 会 系统 地 阐述 这 些 内 容 ， 以 业界 优秀 实践 为 基础 ， 
将 真实 案例 贯穿 全 书 ， 做 到 理论 和 实践 相 结 合 。 本 书 也 力求 以 直观 、 简 
洁 的 方式 呈现 敏捷 测试 的 具体 操作 流程 ， 尽 可 能 引入 有 效 的 测试 新 方 
法 、 新 技术 和 新 工具 ， 包 括 智 能 的 测试 搁 术 、 基 于 容 右 的 测试 环境 部 署 








等 。 本 书 不 但 给 读者 讲解 敏捷 测试 如 何 做 ， 而 且 还 讲解 为 什么 这 样 做 ， 
帮助 读者 拓展 测试 视野 ， 进 一 步 练 好 测试 的 基本 功 ， 重 构 测 试 技 能 ， 构 
建 民 好 的 敏捷 思维 ， 使 读者 终身 受用 。 


本 书 共 10 章 ， 第 1 间 内 容 作 为 铺垫 ， 重 温 敏 捷 的 价值 观 和 开发 原 
则 ， 了 解 不 同 而 具体 的 敏捷 开发 框架 。 如 果 读 者 已 熟练 掌握 敏捷 开 友 方 
法 ， 那 么 可 以 跳 过 这 一 革 ， 和 直接 从 第 2 章 开始 阅读 。 建 议 读者 认真 阅读 
和 仔细 体会 第 2 章 的 内 容 ， 因 为 这 一 章 是 基础 ， 在 “ 道 、 法 、 术 、 

器 ”中 , “ 道 ? 排 在 最 前 面 ， 比 原则 、 方 法 、 技 术 和 工具 都 重要 。 











接 下 来 的 第 3 草 和 第 4 章 也 是 为 后 续 学 习 打 基础 。 因 为 人 的 因素 以 及 
组 织 文化 的 构建 对 于 敏捷 测试 的 成 功 起 到 决定 作用 ， 很 多 表面 上 看 起 来 
古 技术 层面 的 问题 ， 其 实 本 质 上 是 人 的 问题 。 因 此 ， 在 进入 敏捷 测试 的 
具体 操作 的 讲解 之 前 ， 我 们 必须 先 谈 谈 人 员 和 组 织 文 化 。 第 3 章 主 要 讨 
论 敏捷 开发 中 测试 的 职责 由 谁 承 担 、 如 何 承 担 ， 以 及 是 否 要 设置 专职 的 
测试 人 员 。 如 宋 设 置 专职 的 测试 人 员 ， 那 么 该 如 何 操作 ;如果 没有 设 
置 ， 那 么 又 该 如 何 操作 。 第 3 章 还 讨论 了 团队 如 何 转型 、 学 习 型 团队 如 
何 构建 ， 以 及 不 同 角 色 之 间 如 何 协作 ， 即 使 读者 不 从 事 敏 捷 测 试 ， 这 些 
内 容 也 是 非常 有 价值 的 ， 只 是 在 敏捷 测试 中 其 更 具有 价值 ， 因 为 敏捷 更 
强调 学 习 、 协 作 和 成 长 等 。 第 4 章 讨 论 了 敏捷 测试 的 基础 设施 ， 包 括 如 
何 应 用 虚拟 机 技术 、 容 器 技术 等 搭建 测试 环境 ， 这 一 切 就 是 为 了 更 好 地 
文 持 目 动 化 测试 、 目 动 部 着， 以 及 与 持续 集成 /持续 交付 《CICD) 的 集 
成 等 ， 这 些 是 技术 基础 。 读 者 会 看 到 敏捷 测试 在 持续 集成 、 持 续 交 付 ， 
以 及 DevOps 的 实施 过 程 中 无 处 不 在 。 














接 下 来 ， 本 书 用 5 章 的 篇 幅 《〈 第 5 章 一 第 9 章 ) 详细 介绍 如 何 落 地 蜗 

效 敏捷 测试 ， 从 测试 左 移 包 括 需 求 评审 、 设 计 评审 和 彻底 的 测试 左 移 
ATDD 等 ) 、 训 试 计划 、 测 斌 分析 与 设计 、 测 试 执 行 到 收尾 的 完整 过 
程 。 这 个 过 程 的 前 提 就 是 敏捷 开发 模式 ， 需 求 是 采用 用 户 故事 来 描述 而 
且 变 更 相对 频 索 ， 友 代 也 是 很 快 的 ， 测 试 很 有 挑 成 性 ， 因 此 这 部 分 内 容 
侧重 于 介绍 如 何 应 对 这 些 挑 成 。 

。 有 什么 好 的 测试 策略 ? 

。 如 何 更 高 效 地 开展 自动 化 测试 ? 


。 如 何 将 探索 式 测试 和 目 动 化 调试 有 机 结合 起 来 ? 
。 选择 哪些 合适 的 测试 工具 ? 


通过 这 部 分 内 容 ， 读 者 会 了 解 很 多 优秀 的 敏捷 测试 策略 、 方 法 和 技 
等 
本 











本 书 的 最 后 一 章 是 对 敏捷 测试 未 来 的 展望 ， 通 过 介绍 人 工 镶 能 及 大 
数据 测试 方法 、 敏 捷 调 试 工具 的 未 来 发 展 趋势 ， 让 大 家 了 解 敏捷 测试 的 
未 来 。 实 现 彻底 的 持续 测试 是 敏捷 测试 的 终极 目标 ， 这 一 章 介 绍 了 实现 
持续 测试 的 思路 和 框架 。 








每 草 开 头 均 有 思维 导 图 来 引导 读者 学 习 ， 每 章 结 尾 均 有 延伸 阅读 ， 
可 以 触发 读者 新 的 思考 ， 以 扩展 本 书 内 容 ， 打 破 本 书 的 局 限 性 ， 让 读者 
收获 更 多 。 








如 今 ， 成 为 一 个 敏捷 测试 工程 师 是 大 势 所 趋 ， 更 是 优秀 职场 人 的 自 
我 驱动 。 通 过 本 书 的 阅读 ， 读 者 会 有 如 下 收获 : 








。 真正 了 解 什么 是 敏捷 测试 ， 更 好 地 融入 敏捷 开发 环境 中 ， 可 以 与 业 
务 、 产 品 、 开 发 等 相关 人 员 进 行 更 融洽 的 沟通 与 协作 ; 

。 了 解 敏捷 测试 的 具体 操作 ， 更 快 、 更 有 效 地 完成 测试 的 分 析 、 设 计 
和 执行 ， 做 到 事半功倍 ， 今 后 的 测试 工作 会 变 得 更 轻松 。 








如 果 读 者 是 研发 部 门 经 理 或 项 目 经 理 ， 那 么 将 获得 更 多 的 收益 ， 包 
括 提 升 对 敏捷 测试 全 局 的 理解 ， 清 楚 下 面 的 操作 和 管理 : 


如 何 完 成 从 传统 测试 向 敏 捷 测 试 的 转型 ,包括 敏 捷 文 化 的 建立 ; 
如 何 构建 一 个 有 效 的 敏捷 测试 体系 ， 包 括 有 效 的 测试 流程 、 稳 定 而 
高 效 的 基础 设施 或 目 动 化 测试 平台 

如 何 指导 团队 、 工 程 师 开展 测试 工作 ， 极 大 地 提升 测试 效率 ， 做 到 
持续 测试 ， 满 足 持续 交付 的 要 求 ; 

如 何 协调 不 同 团队 和 不 同 岗 位 的 沟通 和 协作 ， 帮 助 整个 团队 提升 研 
发 质量 和 效率 。 





希望 读者 能 够 喜欢 本 书 。 让 我 们 一 起 开局 这 段 敏捷 汕 试 之 旅 ， 开 创 
辉 焊 的 未 来 ! 
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1.5 敏捷 与 看 板 、 精 益 的 关系 
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有 什么 开发 ， 就 有 什么 测试 ， 传 统 开发 之 下 就 是 传统 测试 ， 敏 捷 开 
发 之 下 残 应 该 推行 敏捷 测试 。 在 讨论 敏捷 测试 之 前 ， 必 须 和 完了 解 敏捷 开 
发 模式 ， 人 否则 理解 敏捷 测试 会 很 困难 ， 因 此 有 必要 用 一 章 的 篇 幅 来 进行 
铺垫 。 虽 然 用 一 章 的 篇 幅 不 能 详细 介绍 敏捷 开发 模式 的 具体 操作 、 实 上 践 
和 工具 等 ， 但 还 是 能 讲 清楚 敏捷 开发 模式 的 由 来 、 敏 捷 价 值 观 、 开 发 原 








则 、 开 发 框架 ， 以 及 敏捷 看 板 、 精 益 和 DevOps 的 关系 等 内 容 。 


随 着 开源 运动 (open source community，OSC) 、 互 联网 、 软 件 即 
服务 (software as a service，SaaS) 等 不 断 发 展 ， 其 对 软件 工程 、 软 件 
研发 模式 的 演变 产生 越 来 越 深刻 的 影响 ， 从 而 促进 软件 工程 不 断 创新 、 
变革 和 发 展 ， 以 适应 新 形势 下 的 软件 的 开发 、 运 行 和 维护 的 需求 。 敏 捷 
开发 模式 、DevOps 应 运 而 生 ， 并 逐渐 流行 起 来 ， 并 与 云 计 算 平 台 、 容 
器 技术 等 融合 ， 构 成 了 今天 的 软件 开发 环境 。 


敏捷 开发 是 一 种 思想 或 方法 论 ， 就 是 通过 不 断 迭 代 开 有 发 和 增 量 发 
布 ， 最 终 交 付 符 合用 户 价值 的 产品 。 如 何 用 敏捷 的 思想 来 指导 软件 开 
发 ? 现在 有 很 多 具体 的 敏捷 开发 框架 、 流 程 或 模式 ， 如 Scrum、 极 限 编 
程 、 行 为 驱动 开发 、 功 能 驱动 开发 和 精益 软件 开发 (lean software 
development) 等 。 它 们 的 有 具体 名 称 、 理 念 、 过 程 、 术 语 都 不 尽 相 同 ， 相 
对 于 *“ 非 敏捷 ”， 更 强调 程序 员 团 队 与 业务 专家 之 间 的 紧密 协作 、 面 对 面 
的 沟通 《认为 比 书 面 的 文档 更 有 效 ) 、 频 繁 交 付 新 的 软件 版 本 、 紧 凑 而 
目 我 组 织 型 的 团队 、 能 够 很 好 地 适应 需求 变化 的 代码 编写 和 团队 组 织 方 
法 ， 也 更 注重 软件 开发 中 人 的 作用 。 但 无 论 采 用 哪 种 具体 的 敏捷 开发 模 
式 ， 都 应 该 符合 《敏捷 宣言 》 的 思想 ， 遵 守 人 敏捷 开发 的 原则 。 我 们 需要 
按照 《敏捷 宣言 》 和 敏捷 开发 原则 来 判断 某 种 开发 活动 和 实践 是 否 是 敏 
捷 开 发 。 











1.1 敏捷 开发 模式 的 由 来 


敏捷 开 友 模式 可 以 奶 溯 到 1620 年 ， 英 国 哲学 家 弗 明 西 斯 :培根 友 表 


了 他 的 代表 作 之 一 一 一 《新 工具 》， 如 图 1-1 所 示 。 Py 是 对 亚 
里 士 多 德 《工具 论 》 的 批判 继承 ， 全 书 分 为 两 卷 ， 第 一 卷 痢 重 批判 经 院 
哲学 的 观点 ， 主 张 人 应 该 是 自然 的 解释 者 ， 并 发 现 了 上 自然 的 规 
律 ， 才 能 征服 自然 ， 第 二 卷 论 述 了 归纳 方法 ， 为 归纳 逻辑 货 定 了 基础 。 
培根 认为 单纯 的 感觉 甚至 某 些 实验 所 能 告诉 人 们 的 信息 中 有 太 多 偶然 性 
的 因 系 ， 而 且 之 前 形式 逻辑 中 的 枚 举 归纳 依赖 于 对 已 知事 例 的 一 一 列 
举 ， 其 结论 建立 在 已 知 的 少数 事例 上 ， 因 此 他 在 《新 工具 》 中 主张 合理 
的 归纳 应 该 以 大 量 的 事实 为 基础 ， 而 且 是 一 种 循序 渐进 的 研究 过 程 。 这 
样 的 科学 方法 可 以 写成 “假设 一 实验 一 评估 ”或 理解 为 “计划 一 做 一 检 
但 ”(plan-do-check〉。 和 直到 300 多 年 后 ， 即 1939 年 ， 贝 尔 实验 室 的 统计 
学 家 添 特 ' 休 哈 特 依据 这 样 的 科学 方法 ， 将 “统计 控制 ?下 的 生产 描述 
为 “规范 一 生产 一 检验 ”(specification-production-inspection〉 这样 的 3 步 

过 程 ， 借 助 统计 分 析 的 帮助 ， 不 断 对 产品 和 过 程 进 行 改善 。 之 后 ， 休 哈 
特 的 学 生 、 现 代 质 量 控 制 之 父 威 说 :爱德华 效 : 戴 明 将 这 个 过 程 修改 为 车 
名 的 戴 明 环 ， 即 PDSA (plan-do-study-act， 计 划一 做 一 学 习 一 处 理 ) 
环 。 根 据 戴 明 的 说 法 ， 日 本 参与 者 在 20 世 纪 50 年 代 又 进一步 将 PDSA 改 
为 今天 大 家 熟悉 的 PDCA (plan-do-check-act， 计 划一 做 一 检查 一 处 

， 用 于 质量 管理 、 业 务 流程 等 持续 改进 ， 并 得 到 广泛 应 用 。 因 此 ， 

敏捷 方式 更 合理 的 追溯 时 间 是 20 世 纪 20 一 50 年 代 ， 看 作 PDCA 思 想 的 延 
伸 ， 将 PDCA 用 于 软件 开发 过 程 中 ， 如 图 1-2 所 示 。 





























图 1-1 弗朗西斯 -培根 的 《新 工具 》 





其 间 ， 丰 田 公 司 聘请 戴 明 培 训 公 司 中 数 百 名 经 理 ， 并 在 他 的 经 验 之 
上 创 并 了 著名 的 丰田 生产 体系 一 一 精益 生产 ， 按 订单 生产 ， 减 少 库存 ， 
尽力 避免 各 种 生产 环节 产生 的 浪费 ， 并 持续 改进 产品 质量 。 精 益 忠 想 ， 
包括 其 实践 + 看 板 ， 对 敏捷 开发 又 产生 了 较 大 影响 ， 或 者 说 ， 精 益 思 想 
己 逐 渐 融 入 敏捷 并 发 之 中 。 
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图 1-2 ”PDCA 循环 〈 来 自 维 基 百 科 ) 


1.1.1 新 产品 开发 模式 Scrum 


在 敏捷 开发 中 ， 目 前 比较 流行 的 是 Scrum 开 上 友 模 式 ， 而 Scrum 可 以 
退 溯 到 1986 年 。 在 那 一 年 ， 日 本 一 桥 大 学 教授 、 孚 有 世界 “知识 运动 之 
父 ? 美 誉 的 竹内 弘 高 、 墅 中 邦 次 即 在 1986 年 1 月 出 版 的 《哈佛 商业 评论 》 
发 表 了 一 篇 文 草 《 一 种 轩 新 的 新 产品 开 肥 游戏》 (“The New New 
Product Development Game”) ， 首 次 提 到 新 产品 开发 应 该 是 “橄榄 
球 ”( 即 Scrum 开 发 模式 ) ， 团 队 试图 作为 一 个 整体 完成 所 有 任务 ， 将 球 
传 来 传 去 ， 而 不 应 该 是 传统 的 “接力 赛 " 方 式 一 序列 式 的 开发 〈 即 “ 溪 布 
模型 开发 模式 ) 。 他 们 是 在 通过 研究 那些 比 竞争 者 更 快 发 布 新 产品 的 
公司 《如 富士 施乐 的 复印 机 、 本 田 的 摩托 车 引擎 、 佳 能 的 照相 机 等 ) 后 
而 提出 这 种 Scrum 开 发 模式 。 这 种 整体 方法 有 6 个 特点 : 内 建 不 稳定 、 自 
组 织 团 队 、 重 登 开 发 阶段 、 多 样 化 学 习 、 微 妙 的 控制 和 学 习 的 组 织 内 转 


移 。 

















1) 内 建 不 稳定 。 高 层 管理 者 往往 只 是 指明 战略 方向 ， 制 定 极 具 挑 
战 性 的 目标 ， 这 种 挑战 性 目标 会 传递 压力 给 团队 ， 而 高 层 管理 人 员 给 予 





决定 、 完 成 )， 团 队 反 而 能 体会 到 这 种 不 稳定 性 ， 更 能 激发 团队 的 斗 


= 


JU o 





2) 目 组 织 团队 。 像 一 家 初创 公司 一 样 运营 ， 具 有 三 大 特征 : 目 
治 、 自 我 超越 和 交流 成 长 ， 能 够 自行 运作 ， 承 担 主动 性 和 风险 ， 上 自己 制 
定 计划 和 进度 表 ， 突 破 原 来 的 惯性 思维 ， 每 天 都 在 渐进 地 改进 、 完 善 ， 
不 断 提升 。 








3) 重合 开发 阶段 。 不 像 传统 的 序列 式 开 发 模式 ， 开 发 的 各 阶段 重 


受 ， 使 得 团队 始终 保持 信息 通道 畅通 ， 增 强 了 合作 意识 ， 获 得 了 更 高 的 
效率 和 更 大 的 灵活 性 ， 更 能 适应 变化 ， 提 高 了 对 市 场 的 敏感 度 。 


4) 多 样 化 学 习 。 表 现在 两 个 方面 :跨越 多 个 层次 个 人 、 团 体 和 
企业 ) 、 多 个 专业 《不 同 领域 ) 的 学 习 。 个 人 层面 的 学 习 有 多 种 方式 ， 
例如 ， 将 在 公司 15% 的 时 间 用 于 追求 个 人 的 “梦想 ?>， 利 用 同伴 的 压力 来 
培养 个 人 的 学 习 能 力 ， 团 队 可 以 开展 集体 读书 打卡 活动 ， 等 等 。 多 职能 
的 学 习 ， 则 豆 励 员工 通过 学 习 积累 自己 工作 领域 之 外 的 经 验 ， 掌 握 非 本 
职工 作 之 外 的 能 力 。 员 工 通过 这 些 多 样 化 的 学 习 方 式 来 培养 主动 性 和 学 
习 能 力 ， 并 使 自己 跟 上 最 新 的 发 展 。 














5) 微妙 的 控制 。 虽 然 项 目 团队 大 部 分 是 靠 自 己 管理 ， 避 免 那 种 严 
格 的 控制 ， 但 并 不 是 不 受 控制 ， 而 是 强调 “自我 控制 ”通过 来 自 同 事 的 
压力 来 控制 ?和 "“ 爱 的 控制 ”， 如 但 励 工程 师 听 取 客 户 和 经 销 商 的 意见 ， 
监测 团队 动态 变化 ， 必 要 时 增加 或 剔除 成 员 等 。 








6) 学 习 的 组 织 内 转移 。 定 期 开展 将 学 习 的 知识 转移 给 接 下 来 的 新 
产品 开发 项 目 或 组 织 的 活动 ， 例 如 将 关键 人 员 分 配给 随后 的 项 目 ， 通 
过 “渗透 ”进行 知识 转移 。 而 且 ， 知 识 也 可 通过 将 项 目 活动 作为 标准 实 
践 ， 在 组 织 中 传播 ， 甚 至 将 成 功 的 经 验 制度 化 。 


除 自 组 织 团 队 、 多 样 化 学 习 以 外 ， 文 音 还 强调 “产品 开发 过 程 是 在 
一 个 精心 挑选 的 多 学 科 团 队 的 持续 互动 中 产生 的 ， 团 队 成 员 从 头 到 尾 都 
在 一 起 工作 ”， 因 此 这 篇 文章 经 各 被 认为 是 Scrum 开 发 框 如 的 元 感 来 源 。 


1994 年 6 月 ， 贝 尔 实验 室 (Bell Labs) 软件 产品 研发 部 成 员 詹 姆 斯 





考 由 里 安 在 佛罗里达 州 奥 兰 多 举行 的 第 5 届 Borland 国 际 年 会 上 发 表 了 一 
篇 论文 《Borland 软 件 工艺 : 流程 、 质 量 和 生产 力 的 新 视角 》 (“Borland 
Software Craftsmanship: A New Look at Process,Quality and 
Productivity”) ， 这 篇 文章 主张 研发 团队 每 天 开 一 个 短 的 会 议 ， 这 样 能 
显著 提高 团队 效率 。 杰 夫 : 萨 巨 兰 从 上 面 两 篇 文 草 获 得 了 有 灵感， 创建 了 
一 种 新 的 软件 开发 方法 一 一 Scruam。 作 为 Scruam 开 发 方式 的 实验 ， 完 成 
了 Easel 公 司 一 项 极 具 挑战 性 的 产品 开发 任务 ， 而 且 做 到 了 程序 缺陷 较 之 
前 版 本 少 很 多 、 没 有 超出 预算 等 。 随 后 ， 杰 夫 ' 萨 瑟 兰 和 他 的 同事 肯 ' 施 
瓦 们 对 Scrum 方 法 进行 了 进一步 研究 ， 并 在 奥斯汀 举办 的 ACM 
OOPSLA《 面 加 对 象 编程 系统 、 语 言 以 及 应 用 程序 ) 1995 年 年 会 上 联合 
发 表 了 一 篇 论文 ， 正 式 发 布 了 Scrum 开 发 框架 。 此 后 的 几 年 ， 他 们 将 
Scrum 的 实践 经 验 以 及 业界 的 优秀 实践 进行 融合 ， 形 成 今天 业界 熟知 的 


Scrum。 





1.1.2 ” 轻 量 级 软件 开发 方法 


在 Scrum 提 出 之 前 ，1991 年 IBM 请 阿利 斯 秦 尔 : 科 伯 恩 开发 面向 对 象 
项 目的 方法 论 时 ， 他 为 此 进行 广泛 的 调研 ， 认 为 不 存在 一 种 适合 所 有 开 
发 流程 的 、 规 模 相 同 的 团队 ， 而 是 分 为 不 同 规模 的 团队 ， 从 而 逐步 构建 
起 一 系列 的 水 唱 《〈crystal) 开发 模式 ， 包 括 透 明 水 品 方法 论 (crystal 
clear) 、 黄 色 水 晶 方 法 论 《〈crystal yellow) 、 橙 色 水 晶 方法 论 (crystal 
orange) ， 以 及 红色 水 晶 方 法 论 〈crystal red) 。 水 唱 开 发 模式 以 绩效 为 
先 ， 强 调经 党 交付 ， 流 程 虽然 重要 ， 但 是 次 要 的 ， 并 聚焦 开发 人 员 ， 沟 
通 与 协作 ( 渗 选 式 交 流 ) ， 以 及 反思 改进 ， 提 倡 与 专家 用 户 建立 方便 的 











联系 ， 配 有 自动 测试 、 配 置 管理 和 经 常 集成 功能 的 技术 环境 。 


之 后 各 种 轻 量 级 开发 方法 如 雨 后 春 因 般 涌现 出 来 ， 如 图 1-3 所 示 ， 
却 引 来 它们 之 间 谁 对 谁 错 、 谁 好 谁 坏 的 搜 论 ， 而 且 争 论 越 来 越 激 烈 。 









和 或 堪 EE 迪克 
方法 论 \ DSDM 
2 ‘1994) 








图 1-3 ” 轻 量 级 开发 模式 发 展 的 历史 


1992 年 ， 威 廉 : 奥 普 迪 元 发 表 了 论文 《 面 同 对 象 框 架 之 重 构 》 
(“Refactoring Object-Oriented Frameworks”) ， 对 “ 重 构 ”进行 了 全 面 的 


I 


论述 。 


1994 年 ， 珍 妮 弗 :斯 特 普 尔 顿 提出 动态 系统 开发 方法 (dynamic 
systems development method，DSDM) ， 强 调 发 布 周 期 相对 固定 ， 功 能 


特性 动态 调整 。 


1995 年 ， 肯 : 施 瓦 伯 和 杰 夫 :了 萨 瑟 兰 在 OOPSLA 大 会 上 联合 发 布 了 
Scrum 开 发 框架 。 


1996 年 ， 瑟 丁 : 福 勒 、 肯 特 : 贝 克 等 人 将 极限 编程 《eXtreme 
Programming，XP) 方法 第 一 次 引入 C3 项 目 。 








1998 年 ， 关 于 极限 编程 的 第 一 篇 文章 《 走 回 极限 编程 的 元 羔 斯 勒 公 
司 》 (“Chrysler Goes to ‘Extremes””) 发 表 ， 描 述 了 一 些 极限 编程 实 
践 。 

1998 年 ， 杰 夫 : 德 : 户 卡 等 人 正式 提出 特性 驱动 开发 feature-driven 
development，FDD) 方法 。 


1998 年 ， 持 续集 成 (continuous integration ) 和 每 日 站 会 (daily 
standup) 被 列 入 极限 编程 的 核心 实践 中 。 


1999 年 ， 福 勒 出 版 了 《 重 构 :改善 赋 有 代码 的 设计 》。“ 重 构 ” 实 践 
在 此 之 前 的 几 年 已 经 被 纳入 极限 编程 ， 但 因 这 本 书 才 得 以 推广 。 





1999 年 ， 贝 克 出 版 了 《解析 极限 编程 拥抱 变化 》。 


1999 年 ， 安 德 鲁 . 享 特 等 出 版 了 《注重 实效 的 程序 员 》 (The 


Pragmatic Programmer) 。 


1999 年 ， 吉 姆 : 海 史 密斯 提出 自 适 应 软件 开发 《adaptive software 
development，ASD) ， 着 眼 于 人 员 协 作 和 团队 自我 组 织 ， 自 我 思考 和 学 
a 


2000 年 ， 福 勒 的 文章 《持续 集成 》〈“Continuous Integration”) 发 
表 : 


2000 年 ，ThoughtWorks 开 源 了 第 一 个 持续 集成 工具 CruiseControl。 


1.1.3 《敏捷 宣言 》 的 诞生 


2000 年 9 月 ， 来 自 芝 加 哥 的 鲍 动 :马丁 发 了 一 封 电 子 邮件 ， 提 倡 召 开 
一 次 会 议 ， 解 决 当时 争论 的 关于 轻 量 级 开发 方法 的 各 种 问题 。 马 丁 硕 望 
2001 年 1 月 一 2 月 在 芝加哥 举行 一 场 小 型 《两 天 ) 会 议 ， 目 的 是 让 所 有 轻 
量 级 开发 方法 领导 者 进入 一 个 “房间 "一 达成 共识 。 他 认为 这 些 人 都 应 该 
被 邀请 ， 并 且 他 也 有 兴趣 知道 还 应 该 联系 谁 。 他 为 此 建立 了 一 个 维基 站 
点 ， 讨 论 会 议 主题 和 会 议 地 点 。 有 人 反对 “ 轻 量 级 ”这 个 词 ， 而 反对 更 激 
烈 的 是 会 议 地 点 芝加哥 。 





2001 年 2 月 11 日 一 13 日 ，17 位 不 同 的 轻 量 级 开发 方法 〈 如 Scrum、 极 
限 编 程 、 自 适应 软件 开发 、 特 性 驱动 开 及 、 动 态 系统 开发 等 )“ 掌 门 
人 ”在 美国 犹他 州 雪 岛 (Snowbird) 滑雪 胜地 只 会 ， 试 图 找到 这 些 开 发 
方法 的 共同 点 ， 就 实质 性 问题 达成 共识 。 虽 然 与 会 者 不 能 在 具体 方法 上 
达成 一 致 ， 但 是 他 们 为 共同 拥有 的 方法 论 取 了 一 个 名 字 : 敏捷 
(“Agile” 来 源 于 《敏捷 竞争 者 和 虚拟 组 织 ， 给 客户 更 多 的 策略 》 
(Agile Competitors and Virtual Organizations: Strategies for Enriching the 


Customer) ， 并 发 布 『 《敏捷 宣言 》 【全称 《 敏 捷 软件 开发 宣言 》) 。 





我 们 一 直 在 实践 中 探寻 更 好 的 软件 开发 方法 ， 号 体力 行 的 同时 也 
帮助 他 人 。 由 此 我 们 建立 了 如 下 价值 观 : 





1) 个 体 和 互动 高 于 流程 和 工具 ; 


2) 工作 的 软件 高 于 详尽 的 文档 ; 





3) 客户 合作 高 于 合同 谈判 ; 





4) 啊 应 变化 高 于 遵循 计划 。 


也 就 是 说 ， 尽 管 石 项 有 其 价值 ， 我 们 更 重视 左 项 的 价值 。 





在 《敏捷 宣言 》 发 布 后 ， 敏 捷 思 想 快速 传播 ， 不 少 公司 开 始 尝 试 敏 
捷 开 发 模式 。 我 们 可 以 这 样 次 ， 所 有 符合 《敏捷 宣言 》 所 阐述 的 价值 观 
及 其 背后 的 12 项 原则 的 开发 框 淋 ， 都 可 以 认为 是 敏捷 开发 模式 。 


1.2 敏捷 价值 观 


《敏捷 宣言 》 代 表 了 价值 观 。 传 统 研 发 模式 对 人 不 够 信任 ， 强 调 流 
程 的 作用 ， 通 过 流程 来 减少 ， 甚 至 杜绝 问题 的 发 生 。 敏 捷 开 发 模式 以 人 
为 本 ,认为 人 是 决定 的 因 系 ,研发 人 员 及 其 构成 的 团队 更 具 价 值 ， 团 队 
决定 了 研 有 的 质量 和 效率 ， 团 队 对 质量 负责 ; 并 且 相信 和 团队， 或 励 团 队 
内 部 成 员 之 间 的 协作 、 团 队 之 间 的 协作 ， 并 由 团队 来 确定 该 做 什么 、 如 
何 去 实 现 ， 包 括 任务 估算 、 进 度 安排 。 因 此 ， 在 敏捷 开发 模式 中 ， 每 一 
个 研发 人 员 及 其 协作 的 价值 高 于 流程 和 工具 的 价值 。 





我 们 都 清楚 ， 软 件 研 发 要 交付 的 是 开发 的 产品 或 服务 ， 而 不 是 软件 
过 程 文档 。 如 宋 过 程 文 档 写 得 很 漂 沈 ， 但 交付 的 软件 漏洞 百出 ， 或 者 用 





己 不 能 很 好 地 使 用 软件 ， 就 是 本 末 倒 置 ， 没 有 正确 认识 软件 研发 的 本 
质 。 因 此 ， 敏 捷 开 发 强调 我 们 交付 出 去 的 软件 的 价值 胜 于 文档 的 价值 。 


软件 产品 或 服务 是 为 了 提供 给 客户 使 用 或 者 解决 客户 的 问题 ， 客 户 
清楚 这 个 软件 是 否 能 够 解决 他 们 的 问题 或 者 符合 他 们 的 使 用 习惯 。 即 使 
我 们 有 展 好 的 用 户 思维 ， 可 以 从 用 户 的 角度 思考 问题 、 设 想 客 户 的 需 
求 、 设 计 软 件 、 写 代码 、 做 测试 等 ， 但 研发 人 员 终 完 不 能 完全 代表 客户 
“用户 ) ， 于 是 我 们 要 和 客户 合作 ， 经 党 和 他 们 交流 ， 上 听取 他 们 的 反 
馈 ， 这 样 才能 打造 出 符合 他 们 需求 的 软件 ， 给 客户 带 来 更 大 的 价值 ， 让 
客户 获得 更 好 的 体验 。 因 此 ， 我 们 应 该 认可 客户 合作 的 价值 胜 于 合同 谈 
判 的 价值 。 如 果 客 户 确 实 不 能 和 研发 人 员 在 一 起 开发 ， 那 么 业务 人 员 、 
产品 负责 人 应 该 代表 客户 ， 与 研发 人 员 在 一 起 工作 ， 分 析 和 定义 需求 ， 
按 价值 大 小 诀 定 竺 开发 的 功能 特性 的 优先 级 等 。 











市 场 驱动 业务 ， 业 务 驱 动 研 有 发 。 当 今 是 一 个 快 节奏 的 时 代 ， 市 场 瞬 
恩 万 变 ， 业 务 需 求 的 变化 也 很 快 ， 那 么 我 们 的 研发 不 能 拒绝 这 种 变化 ， 
拒绝 需求 变更 ， 而 应 该 拥抱 这 种 快速 的 需求 变化 ， 从 架构 、 代 码 、 流 程 
等 各 个 方面 进行 变革， 从 而 能 够 适应 市 场 的 挑战 ， 满 足 用 户 的 需求 。 这 
就 是 敏捷 所 强调 的 “ 啊 应 变化 高 于 遵循 计划 ”。 





敏捷 还 有 其 他 一 些 价值 观 ， 如 开放 、 勇 气 、 苇 重 、 承 话 、 反 人 馈 和 简 
单 等 。 敏 捷 拥抱 变化 ， 这 种 变化 不 仅 体 现在 用 户 需 求 的 变化 ， 还 包括 技 
术 的 变化 、 工 程 实践 的 变化 、 流 程 的 变化 ， 甚 至 一 切 上 下 文 的 变化 。 作 
为 敏捷 的 践 行者 ， 不 能 墨守成规 ， 也 不 能 拘泥 于 东 一 种 特定 的 形式 ， 而 
古 应 该 拥有 开放 的 精神 ， 敢 于 答 试 新 的 技术 、 新 的 实践 ， 主 动 求 变 ， 也 














需要 有 勇气 去 进行 新 的 答 试 ， 不 人 犯错 ， 一 旦 犯错 ， 能 认识 到 错误 
并 通过 反思 来 审视 错误 ， 于 是 勇气 还 体现 在 快速 欠 代 、 不 断 反 思 上 。 


因为 以 人 为 本 ， 所 以 要 信任 研发 人 员 ， 伍 重 他 们 的 意见 和 决定 ， 由 
团队 进行 估算 和 制定 计划 。 而 之 前 的 传统 开发 模式 ， 通 常 是 上 级 制定 
的 、 被 动 安排 的 ， 在 这 种 情况 下 ， 许 多 承诺 是 违心 的 ， 承 诺 缺 乏 意义 。 
而 在 敏捷 开发 模式 下 ， 研 发 人 员 得 到 尊重 ， 团 队 是 自我 管理 的 团队 ， 同 
样 得 到 足够 的 尊重 ， 承 诡 是 建立 在 团队 自身 所 做 出 的 估算 和 计划 之 上 
的 ， 自 然 有 决心 和 能 力 兑 现 承诺 。 








敏捷 推 东 快速 迭代 、 持 续 交 付 ， 一 方面 是 为 了 拥抱 需求 的 变化 ， 更 
好 地 满足 业务 或 用 户 的 需求 ， 另 一 方面 ， 也 是 为 了 快速 得 到 用 户 的 反 
饥 。 如 果 软 件 开 发 方 各 有 偶 关 ， 那 么 及 时 调整 ， 少 走 弯 路 ， 即 使 没有 偶 
兰 ， 也 可 以 更 快 地 改进 产品 ， 提 升 用 户 体验 ， 也 就 是 次 ， 持 续 交 付 达 到 
持续 反馈 、 持 续 改 进 。 








简单 ， 有 利于 快速 构建 和 重 构 。 在 敏捷 开发 中 ， 需 求 、 架 构 、 代 码 
等 力求 简单 ， 这 样 可 以 更 好 地 支持 快速 迭代 、 快 速 交 付 。 


1.3 ”敏捷 开 友 原则 





敏捷 运动 并 非 反 对 方法 论 ， 事 实 上 ， 敏 捷 倡 导 者 倒是 希望 恢复 “ 方 
法 论 ” 这 个 词 的 可 信和 度 ， 恢 复 平 衡 ， 接 受 建 模 。 敏 捷 倡 导 者 接受 文档 ， 
但 不 是 数 百 页 从 未 维护 过 且 很 少 使 用 的 大 部 分 文档 。 敏 捷 倡导 者 也 会 制 
定 计划 ， 但 在 日 新 月 异 的 环境 中 认识 到 了 规划 的 局 限 性 。 




















《敏捷 宣言 》 只 是 呈现 了 其 价值 观 ， 但 对 具体 实施 缺少 实质 的 指导 
意义 ， 有 些 制定 《敏捷 宣言 》 的 参 会 人 员 还 开玩笑 说 : 《敏捷 宣言 》 
是 “糊涂 ”声明 。 人 们 对 敏捷 方法 论 的 兴趣 ， 有 时 也 伴随 看 巨大 的 批评 。 
因此 ， AR i ee 
《敏捷 宣言 》 背 后 的 12 项 原则 ， 帮 助 我 们 以 更 灵活 的 方式 思考 软件 开发 
方法 和 组 织 。 











IE 
捷 宣言 》 背 后 所 缠 含 的 12 条 原则 。 





1) 我 们 最 重要 的 目标 是 通过 持续 不 断 地 快速 交付 有 价值 的 软件 使 
客户 满意 。 


2) 欣然 面 对 需 求 变化 ， 即 使 在 开发 后 期 也 一 样 。 为 了 客户 的 竞争 
优势 ， 敏 捷 过 程 掌控 变化 。 

3) 经 党 地 交付 可 工作 的 软件 ， 相 隔 几 星期 或 一 两 个 月 ， 倾 癌 于 采 
取 较 短 的 周期 。 


4) 业务 人 员 和 开发 人 员 必 须 相 互 合作 ， 项 目 中 的 每 一 天 都 不 例 
hs 


5) 激发 个 体 的 斗志 ， 以 他 们 为 核心 搭建 项 目 。 提 供 所 需 的 环境 和 
支援 ， 辅 以 信任 ， 从 而 达成 目标 。 





6) 不 论 团 队 彤 外， 传递 信息 效果 最 好 、 效 率 最 高 的 方式 是 面对面 


交谈 。 


7) 可 工作 的 软件 是 进度 的 首要 度量 标准 。 


8) 敏捷 过 程 倡 寻 可 持续 开发 。 责 任 人 、 开 用 人 员 和 用 户 要 能 够 共 
同 维持 其 步调 稳定 、 延 续 。 


9) 坚持 不 懈 地 退 求 搁 术 晶 越 和 展 好 设计 ， 敏 捷 能 力 由 此 增强 。 
10)〉 以 简洁 为 本 ， 它 是 极力 减少 不 必要 工作 量 的 艺术 。 
11) 最 好 的 架构 、 需 求 和 设计 出 自 自 组 织 团队 。 


12) 团队 定期 地 反思 如 何 能 提高 成 效 ， 并 依 此 调整 自身 的 举止 表 
现 。 


1.4 利 见 的 敏捷 开 有 太 框 以 


敏捷 可 以 看 作 方法 论 ， 更 多 体现 在 上 面 的 价值 观 、 开 发 原则 上 ， 而 
具体 落地 实施 ， 则 需要 依赖 可 操作 的 、 上 有 具体 的 开发 模式 ， 即 我 们 熟知 的 
极限 编程 、 行 为 驱动 开发 、 特 性 驱动 开 及 和 Scrum 等 。 下 面 分 别 对 它们 
进行 简单 介绍 。 





1.4.1 极限 编程 


极限 编程 (eXtreme Programming，XP) 是 一 种 软件 工程 方法 学 ， 
是 敏捷 软件 开发 中 最 富有 成 效 的 几 种 方法 学 之 一 ， 基 本 思想 是 “沟通 、 
简单 、 反 馈 、 勇 气 ”。 如 同 其 他 敏捷 方法 学 ， 极 限 编程 和 传统 方法 学 的 








本 质 的 不 同 在 于 它 更 强调 可 适应 性 而 不 是 可 预测 性 。 极 限 编程 的 文 持 者 
认为 软件 需求 的 不 断 变化 是 很 目 然 的 现象 ， 是 软件 项 目 开 发 中 不 可 避免 
的 、 应 该 被 欣然 接受 的 现象 ， 与 传统 的 在 项 目 初 始 阶段 定义 好 所 有 需求 
再 费 尽 心思 地 控制 变化 的 方法 相 比 ， 有 能 力 在 项 目 周期 的 任何 阶段 去 适 
应 变化 ， 将 是 更 加 现实 、 有 效 的 方法 。 一 般 认 为 极限 编程 对 于 少 于 12 人 
的 小 团队 很 有 有 用。 然而， 极限 编程 在 一 些 超 过 100 人 的 开发 小 组 中 也 获 
得 了 成 功 。 这 就 说 明 极限 编程 不 是 不 能 够 推广 到 更 大 的 团队 ， 而 是 很 少 
有 更 大 的 团队 尝试 它 。 

















极限 编程 项 目 一 开始 就 是 收集 用 户 故 事 (user story，US) ， 用 户 故 
事由 用 户 编写 ， 是 一 段 与 技术 无 关 的 文本 ， 其 目的 在 于 提供 一 些 特 殊 场 
景 的 详细 描述 ， 而 不 是 用 来 估计 系统 的 复杂 性 。 用 户 故 事 的 所 有 细节 必 
须 在 它 实 现 之 前 得 到 客户 的 确认 。 紧 接着 就 是 制定 发 布 计划 。 发 布 计 划 
确定 在 系统 的 哪个 发 布 版 本 中 有 哪些 用 户 故 事 需 要 实现 。 每 个 发 布 版 本 
都 要 经 过 好 几 次 迭代 ， 每 次 迭代 实现 一 些 用 户 故事 ， 如 图 1-4 所 示 。 一 
次 从 代 包 括 如 下 阶段 。 


























1) 计划 : 选择 要 实现 的 用 户 故 事 及 其 要 明确 的 细 证 。 


D4 


2) 编码 : 实现 用 户 故 事 。 


Wo 


3) 测试 ， 至 少 每 个 类 都 要 有 相应 的 单元 测试 。 


4) 验收 测试 : 用 来 验证 交付 的 软件 是 否 满足 用 户 需求 。 如 果 测 试 
成 功 ， 那 么 新 功能 开发 完成 ; 如 果 失 败 ， 则 进入 下 一 个 迭代 ， 直 至 验收 
测试 通过 。 


YL 
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图 1-4 极限 编程 流程 示意 图 














1. 极限 编程 的 优秀 实践 


相对 于 Scrum， 极 限 编程 更 贴近 软件 开发 ， 有 12 项 优秀 实践 ， 如 表 
1-1 所 示 ， 其 中 核心 的 实践 是 结对 编程 、 测 斌 驱动 开 发 、 代 码 重 构 、 持 
续集 成 、 代 码 规范 和 代码 集体 所 有 等 。 





表 1-1 极限 编程 推荐 的 软件 研发 实践 




















编程 实践 ”| 简单 设计 、 代 码 规 范 、 测 试 驱动 开发 、 代 码 重 构 、 结 对 编程 
团队 实践 “| 代码 集体 所 有 、 持 续集 成 、 系 统 隐 喻 、 可 持续 的 节奏 


j 户 ) 、 计 划 博 弈 、 小 型 发 布 〈 快 速 发 布 ) 
































过 程 实践 ”| 现场 客户 ( 





1) 简单 人 设计。 代码 的 设计 只 需要 满足 当前 功能 的 要 求 ， 尽 可 能 简 
单 ， 不 多 也 不 少 。 传 统 的 软件 开发 理念 强调 设计 先行 ， 在 编程 之 前 构建 
一 个 完善 的 、 详 细 的 设计 框架 ， 其 前 提 是 需求 稳定 。 而 极限 编程 拥抱 需 
求 变 化 ， 认 为 需求 是 会 经 党 变化 的 ， 因 此 设计 不 能 一 路 而 就 ， 而 是 一 个 
持续 进行 的 过 程 。 简 单 设 计 应 满足 以 下 几 个 原则 。 








。 成 功 执行 所 有 的 测试 。 


。 不 包含 重复 的 代码 。 
。 同 所 有 的 开发 人 员 消 晰 地 搬 述 编码 及 其 内 在 关系 。 
。 尺 可 能 包含 最 少 的 类 与 方法 。 


简单 的 代码 更 易于 工作 ， 简 单 设计 包括 系统 架构 设计 ， 简 单 的 架构 
有 利于 设计 的 重 构 。 


2) 代码 规范 〈code standard) 更 好 地 保证 代码 的 可 读 性 ， 有 利于 代 
码 的 重 构 和 维护 ， 而 且 通 过 有 效 的 、 一 致 的 代码 规范 来 进行 沟通 ， 可 以 
尽 可 能 地 减少 不 必要 的 文档， 因为 维护 文档 和 产品 的 一 致 性 是 非常 困难 
的 一 件 事 情 。 这 里 有 双重 含义 。 


通过 建立 统一 的 代码 规范 ， 加 强 开 发 人 员 之 间 的 沟通 ， 同 时 为 代码 
走 查 提供 了 一 定 的 标准 。 





减少 项 目 开发 过 程 中 的 文档 ， 极 限 编程 认为 代码 是 最 好 的 文档 。 





当然 ， 不 可 能 用 代码 代 蔡 所 有 的 文档 ， 只 是 尽量 消除 不 必要 的 文 
档 ， 因 为 与 规范 的 文档 相 比 ， 代 码 的 可 读 性 低 。 


3) 测试 驱动 开发 〈test-driven development，TDD) 与 传统 开发 
《开发 在 前 、 测 试 在 后 ) 完全 不 同 ， 强 调 测试 在 前 、 开 发 在 后 ， 即 在 写 
产品 代码 之 前 移 写 测试 用 例 〈 测 试 脚本 ) ， 再 运行 测试 用 例 通过 ， 最 后 
写 产 品 代码 让 测试 通过 。 代 码 只 有 通过 测试 的 时 候 才 被 认为 完成 了 。 整 
个 软件 系统 用 一 种 周期 化 的 、 实 时 的 、 被 预先 编 好 的 自动 化 测试 方式 来 





保证 代码 正常 运行 ， 这 也 是 彻底 的 单元 测试 。 





4) 代码 重 构 〈code refactoring) 是 指 在 不 改变 系统 行为 的 前 提 下 ， 
重新 调整 ， 优 化 系统 的 内 部 结构 以 减少 复杂 性 ， 消 除 元 余 ， 提 高 系统 的 
灵活 性 和 性 能 。 在 极限 编程 中 ， 强 调 代 码 重 构 的 作用 ， 是 对 “简单 设 
计 ” 的 补充 ， 改 善 既 有 设计 ， 但 不 是 代 蕉 设计 。 重 构 也 是 从 代 过 程 所 必 
需 的 、 经 党 性 的 活动 ， 特 别 是 在 功能 实现 前 后 或 各 个 迭代 周期 的 前 后 。 


5) 结对 编程 (pair programming) 是 指 两 个 〈 在 技能 上 相当 或 接近 
的 ) 开发 人 员 以 交 著 方式 共同 完成 软件 的 某 个 功能 或 组 件 的 代码 ， 即 某 
程序 员 在 写 代 码 的 同时 ， 另 一 个 程序 员 在 劳 边 观 察 〈 代 人 码 评审 ) ， 确 保 
代码 的 正确 性 与 可 读 性 ， 并 以 1 一 3 小 时 的 间隔 相互 交换 工作 。 结 对 编程 
可 以 看 作 互 为 评审 (peer review) 这 种 实践 的 最 彻底 的 体现 ， 更 能 比较 
彻底 地 提高 代码 质量 ， 效 率 也 有 可 能 得 到 提升 。 在 具体 实施 时 ， 一 些 关 
键 的 程序 代码 可 以 按 结对 编程 方式 进行 ， 而 其 他 大 部 分 代码 仍 可 以 按 传 
统 方式 进行 ， 但 可 以 适当 加 强 代码 走 但 和 互 为 评审 的 力度 ， 如 持续 代码 
评审 一 一 团队 每 天 留 半 小 时 进行 代码 评审 。 














6) 持续 集成 〈continuous integration，CI) 提倡 每 日 构建 一 个 以 上 
的 版 本 ， 并 通过 版 本 的 验证 ， 包 括 上 自动 构建 、 自 动 部 团 和 自动 测试 。 持 
续集 成 已 成 为 软件 研发 中 非常 普 志 的 一 种 优秀 实践 ， 能 够 提 融 代码 重 构 
的 成 功率 和 代码 的 质量 《 即 极 大 地 减少 回归 缺陷 ) ， 也 可 以 使 团队 保持 
一 个 较 高 的 开发 速度 。 





7) 系统 隐喻 (system metaphor) 。 与 传统 软件 工程 不 同 的 是 ， 极 





限 编程 不 需要 事先 进行 详细 的 设计 ， 而 是 依据 可 参照 和 比较 的 类 和 设计 
模式 ， 通 过 系统 隐喻 来 描述 系统 如 何 运作 、 以 何 种 方式 将 新 的 功能 加 入 
系统 中 ， 在 和 欠 代 周期 中 不 断 地 细 化 娘 构 。 对 于 大 型 系统 ， 系 统 架构 设计 
古 至 关 重 要 的 ， 前 期 需要 一 个 准备 阶段 完成 这 项 工作 。 


8) 可 持续 的 节 委 。 团 队 只 有 持久 才 有 获胜 的 希望 ， 把 项 目 看 作 马 
拉 松 长 跑 ， 而 不 是 全 速 短跑 。 极 限 编程 提倡 健康 工作 、 快 乐 工 作 ， 如 实 
施 每 周 40 小 时 工作 制 ， 反 对 加 班 ， 高 效 地 构建 高 质量 的 代码 。 





9) 代码 集体 所 有 (collective ownership) 。 开 发 团队 的 每 个 成 员 都 
有 更 改 代码 的 权利 ， 所 有 的 人 对 全 部 代码 负责 ， 没 有 程序 员 对 任何 一 个 
特定 的 模块 或 技术 单独 负责 。 这 样 ， 程 序 员 不 会 被 限制 在 特定 的 专业 领 
域 ， 整 个 团队 的 能 力 、 灵 活性 和 稳定 性 等 都 得 到 增强 。 有 时 我 们 也 需要 
认真 考虑 代码 存 取 权 限 《〈 代 码 知 识 产权 保护 ) 、 代 码 有 序 管理 等 问题 。 





10) 现场 客户 《用 户 ) 。 从 理论 上 要 求 在 整个 软件 开发 过 程 中 ， 客 
户 一 直 和 研发 团队 在 一 起 ， 参 与 需求 的 分 机 、 定 义 和 优先 级 排序 《〈 调 
整 ) ， 确 定 验收 标准 和 产品 评审 ， 而 且 能 随时 回答 团队 的 问题 。 团 队 也 
可 以 及 时 、 主 动 地 加 客户 介绍 开发 状态 、 演 示 〈 半 ) 产品 ， 及 时 获取 客 
户 的 反馈 。 知 实施 起 来 有 些 困 难 ， 那 么 可 以 采用 有 效 的 远程 沟通 方式 ， 
包括 电话 会 议 、 远 程 网 络 会 议 等 ， 或 者 让 用 户 代 表 一 一 产品 经 理 或 业务 
人 员 等 扮演 用 户 角 色 。 





11) 小 型 友 布 (快速 发 布 ) 。 快 速 发 布 是 指 每 次 发 布 的 周期 要 短 
42 一 3 周 ) ， 每 次 发 布 的 特性 要 少 ， 从 而 容易 估计 每 个 欠 代 周期 的 进 








， 便 于 工作 量 和 风险 的 控制 ， 及 时 处 理 用 户 的 反 饿 。 知 要 做 到 快速 及 
， 就 需要 测试 驱动 开 有 发、 代码 重 构 、 持 续集 成 等 实践 的 文 撑 。 


露 涵 





12) 计划 博弈 〈planning game) 要 求 结合 项 目 进 展 和 技术 情况 ， 确 
定 下 一 阶段 开发 与 发 布 的 系统 范围 。 但 随 着 项 目的 进展 ， 计 划 会 进行 适 
当 调整 ， 一 成 不 变 的 计划 是 不 存在 的 。 因 此 ， 项 目 团 队 需 要 根据 项 目 实 
际 进 展 情况 、 需 求 变 更 、 风 险 等 及 时 进行 项 目 评估 ， 再 根据 资源 、 进 
度 、 质 量 状态 、 需 求 优 先 级 等 因素 来 调整 或 优化 项 目 计 划 。 还 有 一 些 具 
体 做 法 ， 如 项 目 团 队 每 天 举行 简短 的 例会 ， 反 思 了 昨天 的 工作 ， 了 解 研 发 
过 程 中 的 困难 ， 确 定 当天 的 主要 任务 〈 每 日 计划 ) 。 




















2 极限 编程 的 特点 


1) 快速 反馈 。 当 反馈 能 做 到 及 时 、 迅 速 时 ， 将 发 挥 极 大 的 作用 。 
开始 接触 一 个 事件 和 对 这 一 事件 做 出 反馈 之 间 的 时 间 ， 一 般 被 用 来 掌握 
新 情况 以 及 做 出 修改 。 与 传统 开发 方法 不 同 ， 与 客户 发 生 接 触 是 反复 出 
现 的 。 客 户 能 够 清楚 地 洞察 开 及 中 系统 的 状况 ， 能 够 在 整个 开发 过 程 中 
及 时 给 出 反馈 意见 ， 并 且 在 需要 的 时 候 能 够 掌控 系统 的 开发 方 同 。 


2) 假设 简单 。 认 为 任何 问题 都 可 以 简单 的 方式 解决 。 传 统 的 系统 
开发 方法 要 考虑 未 来 的 变化 ， 要 考虑 代码 的 可 重用 性 。 极 限 编程 拒绝 这 
样 做 。 





3) 增 量 变化 。 极 限 编程 的 提倡 者 总 是 次 : 罗马 城 不 是 一 天 建成 
的 。 一 次 就 想 进 行 一 个 大 的 改造 是 不 可 能 的 。 极 限 编程 采用 增 量变 化 的 





原则 。 例 如 ， 可 能 每 3 个 星期 发 布 一 个 包含 小 变化 的 新 版 本 。 这 样 一 小 
步 一 小 步 前 进 的 方式 ， 使 得 整个 开发 进度 以 及 正在 开发 的 系统 更 为 可 


控 。 





4) 包容 变化 。 可 以 肯定 的 是 ， 不 确定 因素 总 是 存在 的 。“ 包 容 变 
化 "这 一 原则 惑 是 强调 不 要 对 变化 采取 反抗 的 态度 ， 而 应 该 包容 它们 。 
例如 ， 在 一 次 阶段 性 会 议 中 ， 客 尸 提 出 了 一 些 看 起 来 戏剧 性 的 需求 变 
更 。 作 为 程序 员 ， 必 须 包 容 这 些 变 化 ， 并 且 拟 定 计 划 使 得 下 一 个 阶段 的 
产品 能 够 满足 新 的 需求 。 








1.4.2 行为 驱动 开 友 
在 敏捷 开发 中 ， 一 般 推 荐 以 用 户 故 事 来 描述 需求 。 
As a [角色] 作为 一 个 用 户 角 色 ) 
I want to [功能 ] (我 要 做 什么 事 ) 


So that[ 利 益 ] (达到 什么 目的 ) 


例如 ， 下 面 是 用 户 故 事 的 一 个 具体 例子 。 


我 作为 账户 持 有 人 
我 想 从 ATM 提 取现 金 


这 样 就 可 以 在 银行 关门 后 取 到 钱 


虽然 相对 特性 ， 用 己 故 事 粒度 比较 细 ， 描 述 了 不 同 用 户 角色 的 不 同 
行为 ， 一 个 特性 包含 若干 个 用 户 故 事 ， 但 即使 对 某 个 角色 的 某 个 特定 用 
户 行为 ， 其 场景 不 一 样 ， 行 为 还 是 有 较 大 差别 。 例 如 上 面 那个 用 户 故 
事 ， 账 户 持 有 人 的 账户 被 冻结 、 账 尸 中 金额 不 足 、ATM 设 有 现 钞 等 ， 
其 结果 不 一 样 。 因 此 ， 仅 仅 是 靠 用 户 故 事 的 描述 ， 需 求 缺乏 可 测试 性 ， 
最 好 在 开发 “设计 、 编 码 ) 前 明确 每 个 用 户 的 验收 标准 ， 这 就 引出 
了 “行为 驱动 开发 ”。 








行为 驱动 开发 (behavior-driven development，BDD ) 是 一 种 敏捷 开 
发 的 技术 ， 可 以 看 作 验 收 测试 驱动 开发 (acceptance test-driven 
development，ATDD)》 的 延伸 ， 在 软件 设计 、 编 程 前 用 场景 来 定义 用 户 
故事 的 验收 标准 ， 通 过 场景 来 漆 清 需求 。ATDD 只 是 强调 在 开发 前 要 先 
明确 每 个 用 户 的 验收 标准 。 


BDD 的 根基 是 一 种 “通用 语言 "。 这 种 通用 语言 同时 被 客户 和 开发 
者 用 来 定义 系统 的 行为 。 由 于 客户 和 开发 者 使 用 同一 种 “语言 ?来 描述 同 
一 个 系统 ， 因 此 可 以 最 大 程度 地 避免 因 表 达 不 一 致 而 市 来 的 问题 。 表 达 
不 一 致 是 软件 开发 中 常见 的 问题 ， 由 此 造成 的 结果 就 是 开 及 人 员 最 终 做 





出 来 的 东西 不 是 客户 期 望 的 。 使 用 通用 语言 ， 客 户 和 开发 者 可 以 一 起 定 
义 系统 的 行为 ， 从 而 做 出 符合 客 忆 需求 的 设计 。 但 如 果 仅 有 设计 ， 而 没 
有 验证 的 手段 ， 就 无 法 检验 我 们 的 实现 是 不 是 符合 设计 。 因 此 ，BDD 还 
是 要 和 测试 结合 在 一 起 ， 用 系统 行为 的 定义 来 验证 实现 代码 。 


行为 书写 格式 














故事 标题 (描述 故事 的 单行 文字 ) 
As a[ 角 色 ] 


I want to[ 功 能 














So that[ 利 益 ] 

(用 一 系列 的 场景 来 定义 验证 标准 
场景 标题 〈 描 述 场景 的 单行 文字 ) 
Given[ 前 提 条 件 ] 
And[ 更 多 的 条 件 ]... 

When[ 事 件 ] 

Then[ 结 果 ] 

And[ 其 他 结果 ].… 

































































故事 : 账户 持 有 人 提取 现金 
As a[ 账 户 持 有 人 ] 

Iwant to[ 从 ATM 提 取现 金 
So that[ 可 以 在 银行 关门 后 取 到 钱 ] 
场景 : 账户 有 足够 的 资金 
Given[ 账 户 余 额 为 100] 
And[ 有 效 的 银行 卡 ] 
































And[ 提 款 机 有 足够 的 现金 ] 
When[ 账 户 持 有 人 要 求 取款 20] 
Then[ 提 于 机 应 该 分 发 20] 
And[ 账 户 余额 应 该 为 80] 
And[ 应 该 退还 银行 卡 ] 





BDD 的 实践 还 包括 : 








。 确立 不 同 利益 相关 者 要 实现 的 远景 目标 ; 


。 使 用 特性 注入 方法 绘制 出 达到 这 些 目 标 所 需要 的 特性 ; 


ei 


。 通过 由 外 而 内 的 软件 开发 方法 ， 把 涉及 的 利益 相关 者 融入 实现 的 过 
程 中 ; 


。 使 用 例子 来 描述 应 用 程序 的 行为 或 代码 的 每 个 单元 ; 


。 使 用 “应 当 ”(should) 来 描述 软件 的 行为 ， 以 帮助 前 明代 码 的 职 
责 ， 以 及 回答 对 该 软件 的 功能 性 的 质疑 ; 


。 使 用 “确保 ”(ensure)〉 来 描述 软件 的 职责 ， 以 把 代码 本 里 的 效用 从 
其 他 单元 (element) 代码 市 来 的 边际 效用 中 区 分 出 来 ; 


。 使 用 “模拟 ”(mock)〉 作为 还 未 编写 的 相关 代码 模块 的 “符号 ”。 


1.4.3 ”特性 驱动 开 肥 


特性 驱动 开发 〈feature-driven development，FDD) 是 由 彼得 . 科 
德 、 杰 夫 : 德 : 户 卡 、 埃 里 元 : 勒 菲 弗 共 同 开发 的 一 套 针 对 中 小 型 软件 开发 
项 目的 开发 模式 。 


FDD 是 一 个 模型 驱动 的 快速 迭代 开发 过 程 ， 它 强调 的 是 简化 、 实 
用 、 易 于 被 开发 团队 接受 ， 适 用 于 需求 经 第 变动 的 项 目 。 简 日 地 说 ， 
FDD 是 一 个 以 架构 (architecture〉 为 中 心 的 ， 采 用 短 迭 代 期 ， 特 性 
(feature〉 驱 动 的 开发 过 程 。 它 站 先 对 整个 项 目 建 立 一 个 全 局 的 模型 轮 
廊 ， 然 后 通过 两 周一 次 的 基于 特性 设计 (design by feature) 、 基 于 特性 
构建 《build by feature) 的 友 代 完成 项 目 开 有 发。 此 处 的 “特性 ?是 指 “ 用 户 
眼中 最 小 的 、 有 用 的 特性 、 功 能 ”， 它 是 可 理解 的 、 可 度量 的 ， 并 且 可 
以 在 有 限 的 时 间 内 《两 个 星期 ) 实现 。 由 于 在 FDD 中 采用 了 短 周 期 和 欠 代 
的 方式 ， 最 小 化 的 特性 划分 法 ， 因 此 可 以 对 项 目的 开发 进程 精确 且 及 时 
地 进行 监控 。 





在 FDD 中 ， 将 开发 过 程 划 分 为 如 下 4 个 阶段 ， 如 图 1-5 所 示 。 
(1) 开发 一 个 全 局 的 模型 


在 有 经 验 的 组 件 /对 象 建 模 专家 首席 架构 师 ) 指导 下 ， 业 务 领域 
需求 人 员 与 开发 人 员 一 起 协调 工作 ， 业 务 领域 需求 人 员 提 供 一 个 初始 
的 、 具 有 一 定 高 度 的 、 可 以 履 兰 整个 系统 和 业务 场景 的 介绍 ， 业 务 领域 
需求 人 员 和 开发 人 员 会 依 此 产生 初始 的 模型 ， 然 后 组 成 单独 小 组 ， 进 入 
详细 讨论 阶段 ， 将 模型 轮廓 描绘 出 来 ， 最 后 丰富 之 前 产生 的 初始 模型 。 

















(2) 建立 特性 列表 


当初 始 模型 产生 以 后 ， 就 开始 构建 特性 列表 〈feature list) ， 体 现 
为 下 面 的 形式 。 


上 述 的 形式 就 是 动作 、 主 体 、 结 果 的 关系 ， 每 个 动作 行为 发 生 都 是 
围绕 一 个 对 象 为 主体 的 。 建 立 特 性 列表 就 是 将 这 些 特性 进行 分 类 、 合 3 
和 整理 ， 如 功能 需求 中 有 用 户 注册 、 用 户 修改 注册 资料 和 用 户 登 录 等 功 
能 ， 那 么 输入 特性 列表 中 之 后 就 可 能 是 围 经 对 象 模 型 用 户 〈user) 的 新 
增 、 修 改 、 删 除 及 查询 等 功能 。 









开发 一 个 全 局 的 模型 
( develop an overall model ) 





建立 特性 列表 
( build a feature list ) 


依据 特性 制定 计划 
( plan by feature ) 


基于 特性 设计 
( design by feature ) 





基于 特性 构建 
( build by feature ) 





图 1-5 ”FDD 开 发 过 程 


(3) 依据 特性 制定 计划 





这 步 的 工作 就 是 将 这 些 特性 进行 排序 和 计划 ， 然 后 分 配给 相应 的 程 





(4) 依据 特性 进行 设计 和 构建 


程序 员 组 针对 上 自己 的 特性 列表 按 过 代 进行 设计 和 构建 。 


每 次 达 代 的 内 容 如 下 。 





工作 包 的 启动 会 议 : 详细 描述 被 包括 的 特性 。 


设计 : 创建 必需 的 类 、 方 法 及 相关 文档 。 





设计 评审 : 对 提供 的 设计 进行 评审 ， 接 受 或 者 拒绝 。 


开发 : 实现 并 进行 单元 测试 。 


代码 评审 会 执行 代码 同 级 评审 。 


发 布 会 : 将 已 实现 的 特性 进行 集成 。 


1.4.4” ”Scrum 开发 框架 


在 敏捷 开发 模型 中 ， 现 在 比较 流行 的 是 Scrum。Scrum 〈 源 于 : 次 
式 橄榄 球 运 动 ) 将 软件 开发 团队 比拟 成 橄榄 球 队 ， 有 明确 的 最 高 目标 ， 
熟悉 开发 流程 中 所 需 具 备 的 最 佳 典范 与 技术 ， 上 有 具有 高 度 自主 权 、 高 度 自 
我 管理 意识 ， 紧 密 地 进行 沟通 与 合作 ， 以 高 度 弹 性 的 方式 面 对 各 种 矩 
战 ， 确 保 每 天 、 每 个 阶段 都 加 着 目标 明确 地 进行 推进 。 











Scrum 开 发 流程 通常 以 2 一 4 周 《〈 或 者 更 短 的 一 段 时 间 ) 为 一 个 阶 
段 ， 以 客 己 提供 新 产品 的 需求 规格 开始 ， 开 发 团队 与 客户 于 每 一 个 阶段 
开始 时 按 优 移 级 挑选 应 该 完成 的 部 分 ， 开 发 团队 必须 尽力 在 这 个 阶段 交 
付 成 果 。 团 队 每 天 用 15 分 钟 开会 检查 每 个 成 员 的 进度 与 计划 ， 了 解 所 过 
到 的 困难 并 设法 解决 。 





Scrum 是 一 种 迭代 式 增 量 软件 开发 过 程 ， 包 括 一 系列 实践 和 预定 义 
角色 的 过 程 骨架 。 其 流程 如 图 1-6 所 示 。 






持续 集成 验证 


迭代 清单 
{ sprint 
backlog ) 





迭代 评审 会 议 、 
反思 会 议 


一 了 


验收 测试 可 发 布 
产品 待 办 事项 列表 的 产品 






product backlog 
( 确定 优先 级 ) 
发 布 计划 


图 1-6 ”Scrum 开 发 流程 


1. 五 大 价值 观 


1) 承 话 (commitment) : 或 励 承 诡 ， 并 授予 承 诡 者 实现 承 诡 的 权 
se 
2) 专注 〈focus) : 集中 精力 做 好 工作 ， 关 注 并 完成 承诺 。 


3) 公开 (openness) : Scrum 提 倡 公 开 、 透 明 ， 无 论 是 计划 会 议 、 


平时 工作 、 每 日 站 会 ， 还 是 最 后 的 总 结 反 思 ， 都 需要 大 家 公开 信息 ， 以 
确保 大 家 及 时 地 了 解 工 作 进度 ， 如 有 问题 及 时 采取 行动 来 解决 。 











4) 尊重 〈respect) : 团队 是 由 不 同 个 体 组 成 的 ， 成 员 之 间 相 互 尊 
重 是 很 有 必要 的 。 





5) 勇气 〈courage) : 有 勇气 对 任务 进行 承诺 ， 采 取 行 动 完 成 任 
务 。 


2. 3 种 角色 











1) 产品 负责 人 (product owner) : 负责 维护 产品 需求 的 人 ， 代 表 
利益 相关 者 的 利益 


2) Scrum Master: 其 为 Scrum 过 程 负责 的 人 人， 确保 Scrum 的 正确 使 
用 并 使 得 Scrum 的 收益 最 大 化 ， 负 贡 和 解雇 一 些 阻碍 项 目 进 展 的 问题 。 


3) 开发 人 员 (developer) : Scrum 团 队 中 致力 于 创建 每 个 迭代 可 用 
增 量 的 研发 人 员 。 





按照 对 开发 过 程 的 参与 情况 ，Scrum 还 定义 了 其 他 一 些 角色 ， 这 些 
角色 被 分 为 两 组 ， 即 “ 猪 ? 组 和 "“ 鸡 ”组 。 这 个 分 组 的 方法 来 自 于 一 个 关于 
猪 和 鸡 合 伙 开 餐馆 的 笑话 ， 如 图 1-7 所 示 。 





HEY PIG, 1WAS TINKIN ”WE 
SHOULD OPEN A RESTAURAN 
No THANKS, 1 DBSE 
COMMTTED, BUT YOU"D ONLY 
BE INVOL VED! 




















图 1-7 猪 和 鸡 合伙 开 和 餐馆 的 笑话 


一 天 ， 一 头 猪 和 一 只 鸡 在 路 上 散步 。 鸡 对 猪 资 : “我 们 合伙 开 一 家 
餐馆 怎么 样 ? ” 猪 回 尖 看 了 一 下 鸡 说 ;:“ 好 主意 ， 那 你 准备 给 餐馆 起 什么 
名 字 呢 ? " 鸡 想 了 想 说 :“ 叫 "火腿 和 鸡 香 :怎么 样 ? ”“ 那 可 不 行 "， 猪 
说 , “我 把 目 己 全 搭 进 去 了 ， 而 你 只 是 参与 而 已 。” 








1)“ 猪 ”的 角色 。 猪 是 在 Scrum 过 程 中 全 心 投入 项 目的 各 种 角色 ， 在 
项 目 中 承担 实际 工作 ， 他 们 有 些 像 这 个 笑话 里 的 猪 。 产 品 负 黄 人 、 
Scrum Master 和 开发 团队 都 是 猪 的 角色 。 


2)“ 鸡 ”的 角色 。 鸡 并 不 是 实际 Scrum 过 程 的 一 部 分 ， 是 利益 相关 
者 ， 必 须 考虑 他 们 。 敏 捷 方 法 的 一 个 重要 方面 是 使 得 利益 相关 者 参与 到 
过 程 中 的 实践 ， 如 参与 迭代 的 评审 和 计划 ， 并 提供 反 饿 。 用 户 《 客 
户 ) 、 供 应 商 、 经 理 等 对 项 目 有 影响 ， 但 又 不 实际 参与 项 目的 角色 都 
是 “ 鸡 ” 组 成 员 。 








3. 3 个 工件 


1) 产品 待 办 事项 列表 (product backlog) : 按照 优先 级 排序 的 产品 
待 办 事项 。 


2) 人 迭代 竺 办 事项 列表 (sprint backlog) : 要 在 迭代 中 完成 的 任务 清 
单 。 


3) 迭代 燃 尽 网 (burndown chart) : 在 迭代 长 度 上 显示 所 有 剩余 工 
作 时 间 《“ 逐 日 递减 ) 的 图 ， 因 整体 上 总 是 递减 而 得 名 。 新 的 Scrum 指 南 
将 友 代 定义 为 “工件 ”。 








4. 5 个 活动 


1) 迭代 计划 会 (sprint planning meeting) : 在 每 个 迭代 之 初 ， 由 产 
品 负 责 人 讲解 需求 ， 并 由 开发 团队 进行 估算 的 计划 会 议 。 


2) 每 日 站 会 (daily standup) : 团队 每 天 进行 沟通 的 内 部 短 会 ， 因 
一 般 只 有 15 分 钟 且 站 立 进行 而 得 名 。 





3) 评审 会 (review meeting) : 友 代 结束 前 同 产 品 负责 人 演示 并 接 
受 评价 的 会 议 


4) 反思 会 〈retrospective meeting) : 友 代 结束 后 召开 的 关于 自我 持 
续 改 进 的 会 议 


5) 迭 代 〈sprint) : 一 个 时 间 周 期 〈 通 向 为 2 周一 1 个 月 ) ， 开 发 团 
队 会 在 此 期 间 完成 所 承 诡 的 一 组 需求 项 的 开发 。 


Scrum 模 型 的 一 个 显著 特点 就 是 能 够 尽快 地 响应 变化 。 于 是 ， 随 着 
软件 复杂 度 的 增加 ，Scrum 模 型 的 项 目 成 功 的 可 能 性 相 比 传统 模型 要 高 
一 些 ， 如 图 1-8 所 示 。 













re 


成 功 可 能 性 






传统 模型 


低 项 目 复杂 度 高 
图 1-8 ”Scrum 模 型 和 传统 模型 的 成 功 可 能 性 对 比 
Scrum 使 我 们 能 在 最 短 时 间 内 关注 最 高 的 商业 价值 。 它 使 我 们 能 够 
迅速 、 不 断 地 检验 可 用 软件 ， 以 此 来 确定 是 立即 进行 发 布 还 是 通过 下 一 
个 迭代 来 完善 。 





1.5 ”敏捷 与 看 板 、 精 益 的 关系 


与 此 同时 ， 麻 省 理工 学 院 (MIT) 的 詹姆斯 :P. 沃 麦克 等 几 位 教授 
在 研究 日 本 的 生产 体系 (特别 是 丰田 生产 体系 ) 之 后 ， 提 炼 、 总 结 了 丰 
ee 出 版 了 《改变 世界 的 机 器 : 精益 生产 之 
精益 生产 的 概念 开始 为 世人 所 认 知 和 效仿 。 这 里 借用 了 “精益 ?来 
描述 改善 效率 的 这 套 体系 ， 包 括 消 除 浪 费 muda) 、 减 少 波动 
(mura) 和 降低 负荷 (muri) 。 后 来 ， 玛 丽 : 波 彭 代 友和 汤姆 : 波 彭 代 死 
将 传统 的 精益 生产 原则 应 用 于 软件 开发 ， 并 在 敏捷 开发 会 议 上 进行 了 多 
次 演讲 ， 从 而 让 敏捷 开发 社区 逐渐 接受 了 “精益 软件 开发 ”这 个 概念 。 


知识 点 : 丰田 模式 


为 了 帮助 读者 更 好 地 理解 敏捷 开发 模式 ， 下 面 介 绍 丰田 模式 的 关键 
原则 和 要 素 。 


丰田 模式 的 关键 原则 归纳 如 下 。 


1) 建立 看 板 体 系 〈kanban system) ， 改 变 传统 由 前 端 经 营 者 主导 
生产 数量 的 方式 ， 重 视 后 端 顾客 需求 ， 即 按 “ 逆 向 ”思维 方式 去 控制 生产 
数量 。 





2) 强调 实时 存货 (just in time) ， 在 必要 的 时 候 ， 生 产 必 要 的 量 。 





3) 标准 作业 彻底 化 ， 对 生产 每 个 活动 、 内 容 、 顺 序 、 时 间 控 制 和 
结果 等 所 有 工作 细节 都 制定 了 严格 的 规范 。 


4) 排除 浪费 ， 即 排除 生产 现场 的 各 种 不 正常 与 不 必要 的 工作 或 动 
作 而 造成 的 时 间 和 人 力 的 浪费 。 

5) 重复 问 5 次 为 什么 ， 透 过 现象 看 本 质 ， 以 严谨 的 态度 打造 完善 的 
生产 任务 流程 。 


6) 生产 平衡 化 ， 即 “ 取 量 均值 性 *， 目 的 是 将 需求 与 供应 达成 平 
衡 ， 降 低 库 存 与 生产 浪费 。 





7) 充分 运用 “ 活 人 和 活 空间 ”， 即 鼓励 员工 都 成 为 “多 能 工 ” 以 创造 


最 高 价值 。 





8) 养 成 目 动 化 习惯 ， 对 不 符合 条 件 的 东西 进行 目 动 监视 管理 ， 包 
括 对 人 操作 不 规范 的 目 动 监控 。 


9) 弹性 改变 生产 方式 ， 来 解决 现场 生产 问题 。 





为 了 实现 这 些 原 则 ， 丰 田 模式 需要 4 个 要 素 〈4P) 构成 完整 的 丰田 
体系 。 


1) 长 期 理念 (philosophy) : 这 整 需 要 建立 学 习 型 和 高 效 的 组 织 ， 
绝 不 松懈 地 坚持 质量 ， 以 适应 环境 的 变迁 ， 能 够 长 期 为 顾客 及 社会 创造 
与 提升 价值 。 


2) 正确 的 流程 〈process) : 流程 是 以 低 成 本 、 稳 定 与 高 效 地 达成 
最 佳 质量 的 关键 。 


3) 借助 员工 与 合作 伙伴 (people and partner) 的 发 展 ， 为 组 织 创造 
价值 。 因 为 人 是 决定 因素 ， 所 以 要 尊重 员工 的 智 苇 和 能 力 ， 并 不 断 激励 
他 们 ， 以 便 他 们 做 得 更 好 。 





4) 持续 解决 根本 问题 (problem) 是 学 习 型 组 织 的 驱动 力 : 学 习 型 
组 织 强调 持续 学 习 ， 而 持续 学 习 的 核心 在 于 辨识 问题 的 根源 ， 并 预防 问 
题 的 发 生 ， 持 续 改 进 。 


与 精益 生产 原则 的 概念 相近 ， 精 益 软 件 开发 可 以 总 结 为 如 下 7 条 原 


则 。 


1) 草 重 一 线 人 员 。 工 作 在 一 线 的 人 最 了 解 实 际 情况 ， 特 别 是 智 
劳动 活动 ， 如 软件 开发 人 员 熟 知 自己 所 用 的 工具 、 流 程 和 规则 ， 更 清楚 
现状 、 风 险 和 将 要 友 生 什么 ， 能 制定 更 好 的 应 对 措施 ， 更 有 能 力 提出 正 
确 的 改进 意见 。 














2) 消除 浪费 。 任 何不 能 为 客户 增加 价值 的 行为 即 是 浪费 ， 如 不 明 
确 的 需求 、 不 必要 的 功能 、 被 废弃 的 代码 、 缺 陷 、 等 待 处理、 低 效 的 内 
部 沟通 、 茶 个 开发 环 市 的 延 人 运 、 过 上 度 的 省 理 等 。 为 了 消除 浪费 ， 必 须 以 
价值 流 来 识别 浪费 ， 并 指出 浪费 的 根源 并 消除 它 ， 识 别 和 消除 浪费 的 过 
程 是 持续 不 断 的 。 





3) 增强 学 习 。 软 件 开发 是 持续 学 习 的 过 程 ， 从 而 能 够 面 对 各 种 挑 
战 。 最 佳 的 改善 软件 开发 环境 的 做 法 之 一 是 增强 学 习 ， 如 : 


。 代码 完成 后 马上 进行 测试 可 以 避免 缺陷 的 累积 ; 





。 通过 给 最 终 客户 演示 产品 快速 收集 用 户 的 反馈 来 明确 用 户 的 需求 ; 


。 使 用 短 周期 的 迭代 〈 含 重 构 和 集成 测试 ) 可 以 加 速 学 习 过 程 。 





4) 尽量 延迟 决定 。 直 到 能 够 基于 事实 而 非 不 确定 的 假定 和 预测 来 
做 出 决定 ， 因 为 软件 开发 中 存在 许多 不 确定 性 ， 包 括 需求 、 设 计 和 工作 
量 估算 等 。 系 统 越 复 杂 越 能 够 容纳 变化 ， 使 我 们 有 空间 可 以 推迟 一 些 关 
键 的 决定 。 








5) 构建 质量 。 质 量 不 是 检验 出 来 的 ， 而 是 在 整个 开发 过 程 中 构建 
出 来 的 〈 即 慢 慢 形成 的 ) 。 如 宁 在 开发 的 各 个 阶段 〈 需 求 、 设 计 、 编 程 
等 ) 都 能 保证 产 出 物 的 质量 ， 就 能 以 最 低 的 成 本 达到 产品 的 质量 目标 ， 
即 最 大 程度 地 减少 浪费 。 


6) 快速 交付 。 只 有 将 产品 交付 给 用 户 ， 才 产生 价值 。 交 付 越 快 ， 
进入 市 场 越 早 ， 客 户 束 能 更 早 地 使 用 产品 ， 使 产品 尽早 产生 价值 。 


7) 整体 优化 。 局 部 的 优化 耕 不 能 带 来 整体 的 改善 ， 将 是 没有 价值 
的 。 


1.5.1 看 板 


看 板 〈kanban) 源 自 精益 生产 ， 成 为 精益 软件 开发 的 一 种 实践 或 工 
有 具 ， 正 如 丰田 生产 方式 之 父 大 墅 耐 一 所 说 :“ 丰 田 生产 方式 的 两 大 文 柱 
是 “准时 化 :和 “上 自 便 化 :， 看 板 是 运营 这 一 系统 的 工具 。? 看 板 可 以 看 作 一 
种 可 视 化 卡片 ， 随 时 呈现 生产 工序 中 组 件 流动 状态 ， 从 而 改善 协作 、 优 
化 管理 ， 显 滥 提 高 交付 速度 ， 更 有 效 地 控制 生产 过 程 ， 减 少 浪费 。 





准时 化 的 操作 过 程 如 图 1-9 所 示 。 在 需要 时 ， 后 道 工序 通过 看 板 癌 
前 道 工序 发 出 信和 号 请 求 一 定数 量 的 输入 ， 前 道 工序 只 有 得 到 看 板 发 
来 的 请 求 后 ， 才 按 需 生产 ， 这 将 市 来 生产 库存 [也 称 为 “在 制品 ”(Cwork 
in progress，WIP) ] 的 降低 ， 甚 至 实现 生产 过 程 零 库 存 ， 从 而 达到 降 
低 生 产 成 本 的 目的 。 看 板 信 号 由 下 游 癌 上 游 传 递 ， 拉 动 上 游 的 生产 活 
动 ， 使 产品 同 下 游 流动 。 拉 动 的 源头 是 最 下 游 的 客户 价值 ， 也 就 是 客户 























订单 或 需求 。 
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图 1-9 看 板 传递 信息 、 拉 动 价 值 流 的 过 程 


降低 库存 还 能 暴露 生产 系统 中 的 问题 。 湖 水 中 的 岩石 是 一 个 经 典 的 
隐喻 ， 水 位 代表 库存 多 少 ， 兰 石 代表 问题 。 水 位 高 ， 肉 石 就 会 被 隐藏， 
即 库存 多 时 ， 设 备 故 障 、 质 量 不 达标 、 停 工 等 待 、 瓶 颈 过 载 等 问题 都 会 
被 掩 凋 ， 如 图 1-10 左 侧 所 示 。 疫 有 了 临时 库存 的 缓冲 ， 融 会 出 现 “ 水 落 
石 出 ”的 局 面 一 一 上 述 问题 束 会 暴露 出 来 。 骏 器 问题 是 解决 问题 的 先决 
条 件 ， 让 问题 不 断 骏 露 并 解决 ， 这 样 就 能 持续 提升 生产 率 和 质量 。 


NW 


水 位 (库存 ) 高 时 问题 被 隐藏 降低 水 位 ( 库存 ) ， 问 题 浮 出 水 面 




















车 了 许 习 地 河 








图 1-10 ”湖水 岩石 效应 








丰田 生产 方式 的 自 僵化 的 重点 不 在 于 “自动 流动 ”， 而 在 于 “自动 阻 
正 流 动 ”(Cauto-no-mation) ， 是 指出 现 问题 时 《〈 如 某 个 环节 有 次 品 ) ， 
机 器 能 够 自动 感知 异 香 ， 并 立刻 停机 。 这 相当 于 把 人 的 智 意 赋 予 了 机 
器 ， 因 此 用 “ 偶 ? 而 非 * 动 ”。 传 统 的 自动 生产 线 ， 不 能 感知 异常 状态 ， 继 


续 生 产 次 品 ， 造 成 较 大 的 浪费 。 丰 田 生产 方式 的 自 偶 化 把 质量 内 建 于 每 
一 个 生产 环节 ， 出 现 异常 时 ， 杜 绝 继 续 产 出 次 品 ， 并 且 不 把 次 品 输入 下 
一 环节 。 这 是 “内 建 质量 ”(build in quality) ， 而 不 是 让 质量 依赖 于 最 后 
的 检测 环节 。 因 为 立刻 停机 ， 所 以 需要 马上 解决 问题 或 逼 着 问题 被 快速 
解决 ， 从 而 形成 “停止 并 修正 ”(stop and fix) 的 企业 文化 ， 构 建 企业 持 
续 改 进 的 坚实 基础 。 





1.5.2 ”精益 软件 开发 实践 





精益 生产 在 丰田 取得 成 功 ， 但 软件 开发 和 制造 业 差别 很 大 ， 例 如 软 
件 比 较 抽象 、 需 求 具 有 很 大 的 不 确定 性 、 每 一 个 开发 的 任务 都 不 相同 
等 ， 因 此 无 法 照搬 精益 生产 的 实践 ， 我 们 需要 从 软件 开发 自 喘 特点 出 
发 ， 发 展 一 僚 精 益 软 件 开发 的 实践 体系 ， 其 中 为 此 做 出 杰出 贡献 的 有 玛 
丽 : 波 绢 代 元 、 唐 : G. 赖 纳 特 森 和 大 卫 .J. 安德森 等 人 ， 其 中 赖 纳 特 森 致 
力 于 揭示 产品 开发 流 的 本 质 ， 并 提出 相 匹 配 的 原则 方法 ， 在 其 著作 《 产 
品 开发 流程 的 原理 : 第 二 代 精 益 产 品 开 发 》 (The Principles of Product 
Development Flow: Second Generation Lean Product Development) 中 提炼 
了 精益 产品 开发 的 175 条 原则 。 安 德 森 最 早 在 软件 开发 中 应 用 看 板 实 
践 ， 并 不 断 完 善 软件 开发 的 看 板 实 践 ， 在 其 著作 《看 板 方 法 : 科技 企业 
渐进 变 间 成功 之 道 》 中 详细 介绍 了 看 板 的 价值 、 原 则 和 5 个 核心 实践 。 











下 面 介绍 一 下 这 5 个 核心 实践 。 


1， 可视化 价值 “工作 ) 流 


软件 产品 (包括 阶段 性 产品 ) 不 是 实 实在 在 的 物体 ， 而 是 抽象 的 信 
恩 ， 为 了 有 利于 管理 ， 必 须 让 这 些 信息 可 见 ， 即 把 可 视 化 价值 流 作 为 精 
益 软 件 开 发 的 基础 实践 ， 先 让 价值 和 价值 流 具 体 可 见 ， 再 进行 管理 和 优 
化 。 如 图 1-11 所 示 是 看 板 开发 方法 中 的 一 个 典型 可 视 化 案例 ， 和 被 称 为 看 
板 墙 (kanban wal) 。 图 中 的 每 个 卡片 代表 一 个 价值 项 ， 如 功能 需求 、 
缺陷 、 技 术 概 念 验证 等 ， 它 们 所 在 的 列表 示 其 所 处 的 阶段 。 这 些 价值 
项 ， 每 经 过 一 个 阶段 《图 中 的 列 ) 都 会 产生 新 信息 ， 价 值得 以 增加 。 例 
如 ， 需 求 丝 过 分 析 阶 段 ， 注 入 了 新 信息 ， 价 值 更 高 。 价 值 流 是 价值 项 从 
左 至 右 的 流动 过 程 ， 是 信息 产 出 过 程 ， 也 是 价值 增加 的 过 程 。 














需求 分 i 实现 

















业务 入 i Ee 

需求 。 | 析 与 定义 | 设计 | (编程 ) | 测试 完成 发布 
可 视 化 价值 可 视 化 问题 /阻碍 因素 。 可视化 队列 /瓶颈 
用 具体 事项 表示 抽象 。” ”及 时 发 现 和 可 视 化 问题 ， ”出 现 排队 的 地 方 往往 是 系统 的 
的 用 户 价值 ， 如 业务 。。 促使 问题 解决 ， 清 除 阻 。 ” 瓶 疾 ， 解 决 问题 、 减 少 排队 ， 
需求 、 待 解决 的 缺陷 碍 价值 流动 的 因素 可 以 加 速 价值 流转 


图 1-11 ”可视化 价值 (工作 〉 流 








价值 流动 可 能 会 被 阻碍 。 例 如 ， 编 码 因 对 第 3 方 接口 错误 而 无 法 进 
展 ; 测试 因 环 境 没准 备 好 而 信 滞 。 标 识 阻碍 因素 并 推动 其 解决 ， 促 进 价 
值 流动 。 最 终 限制 整个 开发 的 价值 流动 的 地 方 就 是 茶 些 开发 环 市 一 一 牧 
贷 ， 于 是 解决 这 类 瓶 贷 问题 也 是 改善 价值 流动 的 主要 任务 。 友 现 看 板 墙 





上 的 瓶颈 并 不 困难 ， 找 到 了 最 长 的 队列 束 可 以 了 ， 如 图 1-11 中 的 “ 测 
试 ? 列 。 这 与 我 们 平常 所 见 到 的 “道路 越 拥 堵 ， 排 队 的 车 就 越 多 ?是 一 样 
的 道理 。 


2. 显 式 化 流程 规则 


显 式 化 流程 规则 是 指明 确定 义 和 沟 通 团 队 所 遵循 的 流程 规则 ， 如 团 
队 协 作 规 则 、 需 求 评审 规则 等 。 价 值 项 的 “流转 规则 ?是 看 板 开发 方法 中 
典型 的 流程 规则 一 一 定义 了 一 个 价值 项 从 某 个 阶段 进入 下 一 阶段 所 必须 
满足 的 要 求 〈 类 似 流 程 中 常用 的 入 口 / 出 口 准则 ) ， 如 从 敏捷 需求 分 析 
进入 实施 阶段 的 流程 规则 ， 可 能 包括 : 


1) 绘制 了 明确 的 业务 流程 图 ; 


2) 为 每 个 用 户 故 事 定 义 了 验收 标准 ; 





3) 定义 了 不 同 组 件 之 间 的 接口 或 数据 结构 ; 
4) 所 有 定义 的 内 容 通过 了 评审 。 


流程 规则 的 显 式 化 让 质量 内 建 于 各 个 阶段 一 一 这 与 精益 生产 中 内 建 
质量 的 思想 是 一 致 的 ， 而 且 可 以 基于 规则 进行 持续 改进 。 没 有 显 式 化 的 
规则 作为 依据 ， 讨 论 改进 就 没有 基础 ， 而 变 得 主观 和 随意 。 改 进 的 结果 
通 第 是 进一步 完善 显 式 化 的 规则 ， 正 如 传统 软件 开发 中 ， 也 强调 “ 先 定 
义 流程 ， 再 持续 改进 流程 ”。 








3. 限制 在 制品 数量 


限制 在 制品 (WIP〉 数 量 是 看 板 开 肥 方法 的 核心 机 制 。 如 图 1-12 所 
示 ， 各 个 阶段 下 的 数字 标识 了 该 阶段 允许 的 WIP 数 量 上 限 。 在 WIP 数 量 
小 于 上 限时 ， 才 可 以 从 上 一 环节 拉 入 新 的 工作 ， 如 需求 分 析 与 定义 、 设 
计 阶 段 WIP 数 量 分 别 是 3、2， 小 于 上 限 (4) ， 因 此 可 以 拉 入 新 的 工 
作 。 如 果 WIP 数 量 达到 上 限 ， 如 测试 阶段 WIP 数 量 是 6， 达 到 了 上 限 ， 惑 
不 允许 拉 入 新 工作 。 


限制 WIP 数 量 形成 一 个 更 有 效 的 拉动 机 制 ， 减 少 了 价值 项 在 阶段 间 
的 排队 等 待 ， 缩 短 了 软件 交付 的 时 间 ， 加 速 了 价值 流动 。 同 时 ， 限 制 
WIP 数 量 ， 证 湖水 岩石 效应 产生 作用 ， 更 快 地 骏 露 问题 ， 推 进 团 队 解决 
问题 ， 提 升 研发 效能 。 


4. 度量 和 管理 流动 


快速 、 顺 畅 的 价值 流动 是 看 板 开 发 方法 的 目标 ， 以 带 来 稳定 和 可 预 
测 的 价值 交付 能 力 ， 以 及 快速 的 价值 产 出 和 快速 反馈 ， 确保 具 有 很 强 的 
业务 竞争 力 。 度 量 为 改善 价值 流动 和 客户 反馈 提供 客观 的 数据 ， 其 中 累 
积 流量 图 是 常用 的 一 种 度量 方法 ， 如 图 1-13 所 示 ， 虚 线 是 累积 已 经 开始 
的 价值 项 (如 用 户 故 事 ) 数量 ， 实 线 是 累积 完成 价值 项 的 数量 ， 实 线 的 
和 斜率 反映 的 是 价值 交付 的 速率 ， 即 每 周 可 交付 的 价值 项 数量 。 两 条 曲线 
的 垂直 距离 表示 茶 个 时 刻 已 经 开始 但 未 完成 的 价值 项 数量 ， 即 这 个 时 刻 
的 WIP 数 量 。 两 条 曲线 的 水 平 距离 表示 功能 从 开始 到 完成 的 周期 ， 它 是 
价值 流动 效率 的 一 个 重要 衡量 。 








WIP 数 量 小 于 上 限 ， WIP 数 量 达 到 上 限 ， 
可 以 从 上 一 环节 不 能 再 从 上 一 环节 
拉 入 新 的 工作 拉 入 新 的 工作 
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图 1-13 累积 流量 图 


累积 流量 是 一 种 不 错 的 价值 流 度 量 方法 ， 但 要 看 茶 个 时 刻 《〈 某 周 ) 
WIP 具 体 数 量 时 ， 还 不 够 方便 ， 这 时 也 可 以 WIP 数 量 或 系统 流量 (每 周 
交付 价值 的 数量 ) 的 实时 曲线 、 和 直方 图 等 方式 来 描述 ， 更 能 准确 地 呈现 
WIP 数 量 或 交付 周期 的 变化 趋势 。 


5. 协同 改进 


应 用 可 视 化 、 限 制 WIP 数 量 和 价值 流 上 度量， 能 够 又 露 产品 开发 中 的 
问题 和 瓶 祷 。 但 发 现 问题 还 不 够 ， 重 要 的 是 如 何 解决 问题 。 为 了 更 好 地 
解决 问题 ， 团 队 协 作 是 必需 的 。 例 如 ， 图 1-12 展 示 了 测试 阶段 WIP 数 量 
达到 上 限 ， 不 能 从 上 游 “ 实 现 ” 拉 入 更 多 的 工作 。 这 样 ， 实 现 阶 段 已 完成 
的 工作 无 法 进入 下 游 “ 测 试 * 环 市 ， 实 现 阶 段 的 WIP 数 量 很 快 也 会 达到 上 
限 ， 也 无 法 开展 新 的 工作 。 要 改变 这 种 状态 ， 开 发 人 员 就 必须 关注 下 游 
的 问题 ， 并 做 出 反应 ， 如 提高 代码 质量 或 向 测试 人 员 提 供 帮助 。 开 发 人 
员 和 测试 人 员 的 协作 使 价值 流动 更 加 顺畅 。 通 过 拉动 机 制 ， 看 板 骏 露 了 
限制 价值 流动 的 瓶颈 ， 并 激发 团队 协作 ， 改 善 价值 流动 ， 最 终 提 升 端 到 
端的 价值 流转 ， 实 现 产 品 开 发 的 目标 。 





很 多 时 候 解决 瓶 宽 问题 的 方案 在 别处 ， 例 如 上 面 所 讨论 的 ， 解 决 测 
试 的 瓶 贷 最 有 效 的 办 法 之 一 是 提高 上 游 的 代码 质量 ， 即 瓶 贷 之 前 环节 的 
输出 质量 ， 调 整 职责 分 配 ， 甚 至 重新 设计 价值 流 。 为 了 彻底 解决 问题 ， 
我 们 需要 系统 性 地 分 析 问 题 和 解决 问题 ， 如 采用 运筹 学 、 排 队 理 论 等 科 
学 方法 来 解决 问题 。 


最 后 总 结 一 下 ， 看 板 不 是 一 个 开发 框架 或 流程 ， 而 是 一 种 引导 改革 
的 方法 或 实践 ， 需 要 结合 企业 的 实际 情况 来 实施 ， 包 括 流程 的 可 视 化 、 
设 定 合适 的 WIP 数 量 上 限 并 辅 以 度量 ， 通 过 上 述 拉 动机 制 来 暴露 问题 ， 
并 借助 团队 协作 解决 问题 ， 持 续 改 进 ， 不 断 优化 相关 的 流程 、WIP 数 量 
上 限 的 值 ， 获 得 高 效 、 顺 畅 的 产品 开发 价值 流 。 





1.6 ”敏捷 与 DevOps 的 关系 


DevOps 可 以 看 作 人 敏捷 的 延伸 ， 将 敏捷 思想 延伸 到 运 维 ， 从 获 兰 软 
件 研发 周期 延伸 到 履 盖 整个 软件 生命 周期 。 敏 捷 侧 重 消 除 产 品 、 开 发 与 
测试 之 间 的 隔 疼 ， 让 研发 人 员 与 测试 人 员 、 用 户 更 好 地 融合 与 协作 ， 加 
速 持续 集成 、 持 续 交 付 的 过 程 。DevOps 则 推倒 整个 研发 与 运 维 之 间 的 
一 堵 场 ， 让 研发 和 运 维 贯通 ， 更 彻 克 地 实现 可 靠 的 持续 交付 。 








在 软件 研发 项 目 中 ， 从 一 开始 就 考虑 软件 部 普 和 和 运 维 的 需求 ， 在 系 
统 架 构 设 计 阶 段 将 系统 运 维 的 需求 融入 ， 甚 至 完成 系统 部 署 的 逻辑 设计 
和 物理 设计 ， 并 开发 运 维 工具 。 软 件 部 署 之 后 ， 研 发 部 门 也 给 予 大 力 文 
持 ， 而 且 需 要 进行 部 普 验 证 (PQA) ， 以 客户 需求 为 中 心 ， 运 维和 研发 
是 贯通 的 、 协 作 的 ， 没 有 在 两 个 部 门 之 间 形 成 一 座高 高 的 隔离 墙 ， 这 基 
本 就 是 DevOps (Development 和 Operations 的 组 合 ) 。DevOps 代 表 一 种 
文化 、 运 动 或 实践 ， 旨 在 促进 软件 交付 和 基础 设施 变更 中 软件 开发 人 员 
(Dev) 和 IT 运 维 技术 人 员 (Ops) 之 间 的 合作 和 沟通 ， 使 软件 发 布 更 
加 快捷 和 可 靠 ， 真正 做 到 持续 交付 、 持 续 运 维 。 














虽然 DevOps 这 个 概念 现在 还 没有 标准 的 定义 ， 但 我 们 可 以 奶 济 一 
下 其 发 展 过 程 〈2009 一 2017 年 ) ， 列 出 几 个 相对 明确 又 有 所 不 同 的 定 
义 ， 从 而 能 够 比较 全 面 地 了 解 DevOps 的 内 涵 。 


2009 年 : DevOps 是 一 组 过 程 、 方 法 与 系统 的 统称 ， 用 于 促进 开 
发 、 技 术 运 营 和 质量 保证 〈quality assurance，QA) 部 门 之 间 的 沟 
通 、 协 作 与 整合 。 





2011 年 : 快速 啊 应 业务 和 客户 的 需求 ， 通 过 行为 科学 改善 IT 各 部 门 


之 间 的 沟通 ， 使 软件 交付 能 够 适应 业务 快速 变化 的 需求 。 


2015 年 : DevOps 强 调 沟通 、 协 作 、 集 成 、 目 动 化 和 上 度量， 以 帮助 
组 织 快速 开发 软件 产品 ， 并 提高 操作 性 能 和 质量 保证 ;强调 目 动 化 
软件 交付 和 基础 设施 变更 的 过 程 ， 以 建立 一 种 文化 和 环境 ， 通 过 构 
建 、 测 试 和 发 布 软件 等 方法 ， 可 以 快速 、 频 繁 、 更 可 徘 地 发 布 软 
件 。 


2016 年 : DevOps 的 目标 是 建立 流水 线 式 的 、 准 时 化 的 业务 流程 ， 
以 获得 最 大 化 业务 成 果 ， 如 增加 销售 量 和 利润 率 ， 提 高 业务 速度 ， 
减少 运营 成 本 。 


2017 年 : 一 个 软件 工程 实践 ， 则 在 统一 软件 开发 (Dev) 和 软件 操 
作 (Ops) ， 与 业务 目标 紧密 结合 ， 在 软件 构建 、 集 成 、 测 试 、 肥 
布 到 部 著 和 基础 设施 管理 中 大 力 提 倡 目 动 化 和 监控 。DevOps 的 目 
标 是 缩短 开发 周期 ， 增 加 部 署 频率 ， 更 可 靠 地 进行 发 布 。 








简单 地 说 ，DevOps 是 敏捷 开发 的 自然 延伸 ， 从 研发 周期 问 右 扩展 
到 部 得 、 运 维 ， 由 持续 构建 、 持 续集 成 扩展 到 持续 部 署 、 持 续 运 维 ， 真 
正 做 到 持续 交付 (continuous delivery，CD ) 。DevOps 不 但 打通 研发 
的 “需求 、 开 发 与 测试 ”各 个 环节 ， 而 且 打 通 “ 研 发 ”与 “ 运 维 *。DevOps 适 
合 “ 软 件 即 服务 ”(SaaS) 或 “平台 即 服务 ”(PaaS〉 这样 的 应 用 领域 ， 其 
显著 的 特征 如 下 。 





1) 打通 用 户 、 项 目 管 理 办 公 室 、 需 求 、 设 计 、 开 发、 测试 、 运 维 
等 各 上 下 游 部 门 或 不 同 角 色 。 


2) 打通 业务 、 架 构 、 人 代码、 测试、 部 署 、 监 控 、 安 全 、 性 能 等 各 
领域 工具 链 。 





DevOps 在 软件 构建 、 集 成 、 测 试 、 发 布 到 部 署 和 基础 设施 管理 中 
大 力 提倡 自动 化 和 监控 ， 形 成 软件 研发 完整 的 生态 。 这 很 大 程度 上 依赖 
于 工具 ， 在 DevOps 上 现在 已 形成 完整 的 工具 链 。 





图 1-14 相 对 简单 地 展示 了 DevOps 工 具 链 ， 包 含 了 常见 的 5 类 工具 
构建、 测试 、 工 件 管理 、 部 署 和 评估 〉，， 而 相对 完整 的 DevOps 工 具 
链 ， 需 要 窗 盖 14 类 工具 ， 按 交付 过 程 列 出 如 下 。 















































图 1-14 ”贯穿 软件 生命 周期 的 DevOps 工 具 链 [1 


1) 编码 /版 本 控制 :维护 和 控制 源 代码 库 中 的 变更 。 
2) 协作 开发 : 在线 评审 工具 和 在 线 会 议 平台 等 。 
3) 构建 : 版 本 控制 、 代 码 合 并 和 构建 状态 。 


4) 持续 集成 : 完成 目 动 构建 、 部 着 和 训 试 等 调度 。 


5) 测试 : 自动 化 测试 开发 与 执行 、 生 成 测试 报告 等 。 
6) 打包 : 二进制 仓 库 和 Docker 镜 像 仓库 。 
7) 部 署 : 完成 在 服务 器 (和 集群 ， 上 自动 部 署 软 件 包 。 


8) 容器 : 容 絮 是 轻 量 级 的 虚拟 化 组 件 ， 它 以 隔离 的 方式 运行 应 用 
负载 。 它 们 运行 自己 的 进程 、 文 件 系 统 和 网 络 栈 ， 这 些 资源 都 是 由 运行 
在 硬件 上 的 操作 系统 所 虚拟 化 出 来 的 。 


9) 发 布 : 变更 管理 、 发 布 审核 和 上 自动 发 布 。 





10) 编排 : 当 考 虑 微服 务 、 面 癌 服 务 的 架构 、 融 合式 基础 设施 、 虚 
拟 化 和 资源 准备 时 ， 计 算 系 统 之 间 的 协作 和 集成 就 称 为 编排 。 通 过 利用 
己 定 义 的 目 动 化 价值 流 ， 编 排 保 证 了 业务 需求 是 和 团队 的 基础 设施 资源 
相 匹 配 的 。 


11) 配置 管理 : 基础 设施 配置 和 管理 ， 维 护 硬 件 和 软件 最 新 、 细 节 
的 记录 ， 包 括 版 本 、 需 求 、 网 络 地 址 、 设 计 和 运 维 信息 。 


12) 监视 : 性 能 监视 和 用 户 行为 反馈 。 


13) 警告 与 分 析 工 具 : 根据 事先 设 定 的 “ 管 戒 线 ”发 出 警告 ， 日 志 分 
析 、 大 数据 分 析 等 。 





14) 应 用 服务 硕 、 数 据 库 、 云 平台 等 维护 工具 。 


本 章 小 结 





本 章 是 为 后 续 各 章 的 学 习 而 做 的 铺垫 。 首 先 让 读者 了 解 敏 捷 开 发 模 
式 的 由 来 ， 从 而 帮助 读者 更 好 地 理解 敏捷 开发 的 价值 观 和 原则 。 只 记 住 
《敏捷 宣言 》 和 12 项 原则 是 不 够 的 ， 要 理解 其 产生 背后 的 真正 原因 ， 包 
括 当今 软件 开发 所 面临 的 挑战 。 市 场 驱动 业务 ， 业 务 驱 动 研发 。 急 剧 的 
市 场 苋 争 和 快速 的 市 场 变化 都 驱动 软件 研发 的 变革 ， 以 做 到 持续 交付 。 
持续 交付 是 敏捷 开发 的 核心 诉求 ， 无 论 是 极限 编程 、 BDD、FDD， 还 是 
Scrum， 都 是 为 了 实现 这 一 诉求 ， 包 括 采 用 一 些 优秀 实践 ， 如 全 功能 的 
特性 团队 、ATDD、 持 续集 成 和 DevOps 工 具 链 等 。 








延伸 阅读 





关于 敏捷 的 资料 和 图 书 有 很 多 ， 于 是 我 们 可 以 从 为 什么 会 产生 敏捷 
这 个 问题 出 发 来 加 强 学 习 ， 如 阅读 《敏捷 整洁 之 道 ， 回归 本 源 》。 


虽然 现在 流行 采用 Scrum 开 发 模式 ， 但 它 缺 少 软件 研发 的 优秀 实 
践 ， 而 极限 编程 是 真正 基于 软件 开发 特点 而 构建 的 开发 模式 ， 更 有 利于 
我 们 理解 敏捷 开发 ， 因 此 可 以 阅读 极限 编程 相关 的 文章 和 图 书 ， 特 别 推 
荐 去 了 解 一 下 马丁 ' 福 勒 、 肯 特 : 贝 克 等 人 如 何 将 极限 编程 方法 第 一 次 引 
入 C3 项 目 ， 相 关 资 料 包 括 贝克 编写 的 《解析 极限 编程 : 拥抱 变化 》《 测 
试 驱 动 开 发 : 实践 与 模式 解析 》， 以 及 福 勒 的 个 人 网 站 和 他 编写 的 《 规 
划 极 限 编程 》 (Planning Extreme Programming) 一 书 。 

















只 了 解 敏捷 还 不 够 ， 还 需要 了 解 精 蔓 软件 开发 、DevOps。 关 于 精 
益 软 件 开发 ， 可 以 阅读 《精益 开发 实战 ， 用 看 板 管理 大 型 项 目 》 或 《 精 





益 开发 与 看 板 方 法 》。 而 关于 DevOps， 可 以 阅读 《凤凰 项 目 : 一 个 IT 
运 维 的 传奇 故事 》 和 《DevOps 实 践 指南 》。 


最 后 补充 一 点 关于 极限 编程 实践 的 内 容 ， 贝 殉 在 1999 年 出 版 了 《 解 
析 极 限 编 程 ， 拥抱 变 化 》， 此 书 的 第 2 版 在 2004 年 出 版 ， 在 原来 的 基础 
上 做 了 一 些 修改 和 扩展 ， 并 给 出 13 项 基本 实践 和 11 项 扩展 实践 ， 如 表 1- 
2 所 示 。 不 过 比较 而 言 ， 最 初 的 12 项 实践 还 是 更 为 人 们 所 接受 。 


表 1-2 基本 实践 与 扩展 实践 














坐 在 一 起 

全 功能 /完整 团队 
信息 工作 空间 
充满 活力 地 工作 
结对 编程 

故事 
周 循环 
季度 循环 
松弛 
10 分 钟 构建 
持续 集成 
测试 在 前 的 编程 


增 量 设计 


真实 客户 参与 
增 量 部 署 
团队 连续 性 
收缩 团队 
根源 分 析 
共享 代码 
代码 和 测试 
单一 代码 库 
每 日 部 署 
协商 范围 的 合同 
依 用 付费 
































[1 马 致 杰 的 “一 站 式 软 件 交 付 : 世界 五 百 强 企 业 中 的 DevOps 转 型 之 
道 ” 演 讲 材料 。 
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第 2 半 基础: 敏捷 测试 之 道 


2.1.1 从 一 个 真实 的 案例 说 起 



















2.1 什么 是 敏捷 测试 2.1.2 敏捷 测试 的 含义 


2.1.3 敏捷 测试 的 其 他 定义 





2.2.1 凤凰 项 目 : 一 个 IT 运 维 的 传奇 故事 





2.2.2 3 步 工作 法 
2.2 传统 测试 与 敏捷 测试 
2.2.3 凤凰 项 目 改 造 前 后 对 比 





2.2.4 传统 测试 与 敏捷 测试 的 





2.3.1 固定 性 思维 与 敏捷 思维 





2.3.2 成 长 性 思维 
2.3 敏捷 测试 的 思维 方式 





2.3.3 以 实例 来 辨析 不 同 思维 的 测试 工程 师 










第 2 章 ”基础 


了 敏 呈 包 本 和 
测试 之 首 2.3.4 团队 对 质量 负责 的 思维 





2.3.5 上 下 文 驱 动 的 思维 与 用 户 思 维 





2.4.1 Scrum 模 式 下 的 测试 流程 





2.4.2 敏捷 测试 的 通用 流程 














2.4 敏捷 测试 流程 解析 
2.4.3 敏捷 测试 流程 闭环 与 持续 测试 
2.4.4 从 敏捷 项 日 管理 角度 来 看 测试 流程 
2.5.1 敏捷 测试 四 象限 之 历史 
2.5 新 的 敏捷 测试 四 象限 









2.5.2 新 的 敏捷 测试 四 象限 简介 





相 比 10 年 前 ， 现 在 更 多 的 人 在 了 解 或 实践 敏捷 测试 ， 但 不 得 不 说 的 
是 ， 目 前 大 多 数 人 对 于 敏捷 以 及 敏捷 测试 的 理解 依然 不 准确 ， 不 知道 如 
何 有 效 地 实施 敏捷 测试 。 相 比 敏捷 开 友 来 说 ， 敏 捷 测 试 的 理论 体系 总 结 


起 步 较 晚 ， 举 个 例子 ， 到 2017 年 才 有 人 给 敏捷 测试 下 了 一 个 定义 。 这 使 
得 研发 团队 对 什么 是 敏捷 测试 、 如 何 做 好 敏捷 测试 缺乏 理论 指导 。 





敏捷 测试 本 身 涉 及 很 多 东西 ， 包 含 人 员 、 组 织 、 技 术 、 方 法 、 流 程 
和 工具 等 多 个 方面 。 道 家 传承 中 强调 “ 道 、 法 、 术 、 器 ”， 这 代表 了 对 事 
务 理解 和 掌握 的 不 同 层 次 。 同 样 ， 理 解 敏 捷 测 试 也 要 从 更 高 层次 出 发 ， 
理解 敏捷 测试 的 本 质 、 原 则 和 思维 方式 。 





2.1 什么 是 敏捷 测试 


上 一 章 介 绍 了 《敏捷 宣言 》 和 12 项 敏捷 开发 原则 。 在 回答 “什么 是 
敏捷 测试 ?之 前 ， 移 来 介绍 一 个 案例 ， 读 者 可 以 通过 这 个 案例 来 观察 一 
下 其 中 哪些 符合 敏捷 价值 观 ， 哪 些 又 违反 了 敏捷 开发 原则 。 本 书 笔者 会 
通过 这 个 案例 的 详细 分 析 来 回答 “什么 是 敏捷 测试 ”。 





2.1.1 ”从 一 个 真实 的 案例 说 起 





这 个 案例 来 自 一 家 外 企 在 中 国 的 研发 中 心 ， 公司 的 产品 主要 是 
基于 Android 系 统 的 智能 终端 。 故 事 发 生 在 2013 年 ， en 
门 在 这 一 年 开始 了 一 系列 面向 敏捷 测试 转型 的 尝试 。 


首先 向 读者 介绍 一 下 公司 背景 ， 该 公司 的 研发 部 门下 辖 4 个 开发 部 
门 和 一 个 庞大 的 测试 部 门 ， ey 负责 各 种 工具 开发 的 团队 也 隶属 于 测 
试 部 门 。 开 发 人 员 和 测试 人 员 比 例 几 乎 是 1 : 1， 开 发 部 门 的 职 贡 是 按照 
负责 的 功能 模块 划分 的 ， 而 测试 部 门 负 责 软 件 系统 级 别 的 所 有 测试 ， 包 
括 功 能 测试 、 性 能 测试 、 安 全 测试 、 可 菲 性 测试 和 兼容 性 测试 等 。 除 系 
统 稳 定性 测试 方面 实现 了 基于 Monkey Runner 的 自动 化 测试 以 外 ， 其 他 











的 系统 测试 基本 以 手工 测试 为 主 。 当 时 采用 的 是 传统 的 瀑布 式 开 发 模 
式 ， 即 V 模 型 ， 代 码 编写 和 产品 测试 被 明确 地 分 成 了 两 个 阶段 ， 如 图 2-1 
所 示 。 


1. 持续 集成 的 尝试 


这 里 用 到 的 工具 包括 : 分 布 式 的 代码 版 本 控制 工具 Git， 代 码 审 查 
工具 Gerrit， 持 续集 成 工具 Jenkins。 在 此 基础 上 ， 开 发 部 门 已 经 实现 了 
代码 的 自动 构建 。 











研发 团队 希望 达到 的 目标 是 代码 提交 后 完成 自动 构建 、 目 动 部 署 和 
目 动 化 测试 ， 并 且 上 自动 生成 测试 报告 。 在 实施 过 程 中 ， 工 具 链 没有 问 
题 ， 目 动 构建 和 上 自动 部 普 也 没有 问题 ， 问 题 束 出 在 目 动 化 测试 上 。 





客户 需求 的 确认 本 
------------- 一 -5 验收 测试 












系统 设计 的 确认 


、 6 AN 1 i en pe ee pe | vos 
、 系统 设计 系统 测试 





功能 ( 接口 ) 的 确认 
| 集成 测试 
设计 /分 析 ”: ”验证 /测试 


图 2-1 软件 研发 的 V 模 型 


一 个 产品 的 功能 测试 用 例 大 概 是 1000 个 ， 但 是 能 转化 为 自动 化 脚本 
并 且 放 在 集成 环境 里 执行 的 用 例 在 很 长 时 间 内 只 有 100 多 个 ， 只 实现 了 





版 本 验证 测试 ， 即 我 们 通常 所 说 的 “ 冒 烟 测 试 *?。 这 意味 着 ， 当 开发 人 员 
提交 代码 ， 触 发 的 目 动 化 测试 达到 的 窗 盖 率 非常 有 限 ， 即 使 这 个 集成 环 
境 能 够 支持 持续 验证 ， 所 有 人 还 是 觉得 它 很 多 余 。 





2. 测试 前 移 和 组 织 架构 的 尝试 





当时 ， 对 测试 前 移 的 定义 是 在 软件 编码 阶段 就 进行 调试 ， 而 不 是 等 
到 开发 结束 以 后 才 开 始 测试 。 简 单 地 说 ， 就 是 边 开 发 边 测试 ， 期 望 通过 
这 个 方式 缩短 产品 开发 周期 。 


(1) 第 1 阶段 


开发 部 门 按 照 Scrum 团 队 重 新 进行 划分 ， 按 照 3 : 1 的 比例 招聘 了 测 
试 工程 师 。 因 为 开发 团队 一 开始 没 想 明白 自己 到 底 需 要 什么 样 的 测试 人 
员 ， 所 以 招来 的 基本 上 是 手工 测试 工程 师 ， 看 不 懂 代 码 的 居多 。 这 些 测 
试 工程 师 在 Scrum 团 队 里 的 主要 工作 包括 : 手工 测试 、 一 过 过 按照 开发 
的 要 求 复 现 bug 指 软件 程序 的 漏洞 或 缺陷 ) 、 给 开 及 人 员 “ 打 好”， 比 
如 给 终端 更 新 一 个 新 版 本 、 寻 找 开 及 过 程 想 要 验证 的 硬件 型 号 等 。 而 在 
开发 早期 ， 产 品 硬件 不 到 位 或 者 软件 集成 到 一 起 不 工作 时 ， 黑 盒 的 手工 
测试 则 没 法 进行 。 











(2) 第 2 阶段 


管理 者 本 来 希望 通过 敏捷 模式 可 以 减少 汕 试 人 员 的 数量 ， 但 事 与 原 
违 ， 训 试 部 门 专门 负责 系统 测试 的 人 员 并 没有 减少 ， 反 而 在 开发 部 门 入 
部 又 多 了 几 十 名 测试 人 员 。 出 现 上 述 问题 的 原因 在 于 这 两 拨 人 用 的 测试 








方式 差不多 ， 测 试 可 以 开始 的 时 间 也 差不多 ， 人 多 了 了， 无非 体现 在 报 的 
bug 数 量 多 了 ， 测 试 部 门 看 重 的 是 需求 的 获 凋 率 ， 要 执行 的 训 试 用 例 还 
征 那 么 多 ， 人 数目 然 减 不 下 来 。 


因此 ， 在 一 次 人 员 改 组 中 ， 管 理 者 宣布 所 有 的 测试 人 员 集中 到 测试 
部 门 ， 要 求 测试 部 门 减 掉 相 应 数量 的 测试 外 包 人 员 。Scrum 团 队 可 以 向 
测试 部 门 申请 测试 资源 ， 按 开发 人 员 和 测试 人 员 3 : 1 的 比例 在 功能 开发 
阶段 配备 。 这 样 测试 部 门 能 够 了 解 Scrum 团 队 的 测试 范围 ， 在 系统 测试 
阶段 就 可 以 减少 重复 测试 。 改 组 之 后 ， 人 数 倒是 减 下 来 了 ， 但 是 仍然 以 
手工 测试 为 主 ， 因 为 组 织 架 构 的 变更 ， 开 发 人 员 和 测试 人 员 经 常 因为 谁 
对 开发 阶段 的 测试 说 了 算 而 争论 不 休 ， 开 发 和 测试 变 得 更 加 泾 渭 分 明 ， 
两 拨 人 之 间 的 关系 也 更 紧张 了 。 





(3) 第 3 阶段 


经 过 一 段 时 间 的 运行 ， 发 现 这 样 沟通 的 成 本 很 大 ， 开 发 阶段 的 测试 
确实 应 该 是 Scrum 团队 自己 来 安排 ， 因 此 测试 团队 主动 提出 把 Scrum 团 
队 里 的 测试 人 员 转 回 开发 部 门 。 一 个 恨 好 的 转变 是 : 每 个 Scrum 团 队 开 
始 由 一 名 资深 测试 工程 师 担 任 测试 负责 人 人， 负责 制 定 测试 策略 和 测试 计 
划 ， 以 及 协调 Scrum 团 队 与 系统 测试 团队 之 间 的 测试 安排 。 开 发 部 门 也 
开始 对 Scrum 团队 里 的 测试 工程 师 进 行 开发 能 力 的 培养 ， 和 希望 测试 人 员 

能 够 做 更 多 的 白 盒 测 试 和 自动 化 测试 。 


3. 单元 测试 的 答 试 


一 开始 单元 测试 的 窗 冀 紊 几乎 是 9， 开 发 人 员 只 负责 编写 代码 和 修 
复 测试 人 员 提交 的 缺陷 。 由 于 持续 集成 和 训 试 前 移 的 不 成 功 ， 因 此 大 家 
认为 开 肥 部 门 应 该 要 求 开发 人 员 做 单元 测试 ， 以 代码 宪 盖 率 衡 量 早 元 测 
试 的 结果 。 开 用 人 员 也 答应 做 ， 但 是 整整 一 年 未 见 成 效 ， 原 因 是 : 忙 ， 
没有 单元 测试 的 经 验 和 技能 





4. 测试 能 力 更 新 的 尝试 


测试 部 门 也 逐渐 意识 到 上 自动 化 的 重要 性 ， 特 别 是 在 组 织 学 习 了 
《Google 软 件 测试 之 道 : 像 Google 一 样 进行 软件 测试 》 之 后 。 但 当时 测 
试 部 门 只 有 5% 的 工程 师 负 责 上 自动 化 测试 。 经 过 层 层 申请 ， 公 司 同 意 采 
取 末 位 淘汰 制 葵 换 10% 的 手工 测试 工程 师 。 通 过 内 部 转岗 、 外 部 招聘 ， 
以 及 员工 塔 训 等 多 种 方式 ， 在 一 年 之 后 ， 上 自动化 测试 工程 师 的 比例 终于 
达到 了 259%。 团 队 开 始 搭建 统一 的 目 动 化 测试 框架 。 目 动 化 测试 在 
API (application-programming interface， 应 用 程序 编程 接口 ) 和 
UI (user interface， 用 户 界 面 ) 测试 的 敌 盖 率 终 于 得 到 明显 提高 ， 但 是 
在 整体 需求 覆盖 率 上 也 没有 超过 30%， 而 且 单 元 测试 的 缺失 依然 是 便 
伤 。 没 有 开发 人 员 的 参与 ， 测 试 目 动 化 总 是 在 UI 层 “折腾 ”， 当 然 是 事 倍 
功 半 。 








从 这 个 例子 可 以 看 出 ， 这 家 公司 的 研发 部 门 在 从 传统 测试 转型 到 敏 
捷 测 试 的 过 程 中 ， 并 不 清楚 什么 古 真 正 的 敏捷 测试 ， 而 是 摸 着 石 涉 过 
河 ， 不 断 尝 试 ， 每 走 一 步 都 很 艰难 ， 而 且 走 了 不 少 灾 路 ， 最 后 还 没有 到 
达 敏 捷 测 试 的 彼岸 ， 更 别 指望 产品 的 质量 和 测试 的 效率 能 得 到 显著 所 
Hs 








2.1.2 ”敏捷 测试 的 含义 


完 苋 什 么 是 敏捷 测试 呢 ? 可 以 肯定 地 说 ,， “敏捷 测试 " 既 不 是 一 种 测 
试 方法 ， 叉 不 是 一 种 测试 方式 ， 而 是 为 了 适应 敏捷 开 必 而 特别 设计 的 一 
套 完 整 的 软件 测试 解决 方案 。 这 个 解决 方案 应 该 能 够 支持 持续 交付 ， 涵 
兰 所 需 的 、 正 确 的 价值 观 、 思 维 方式 、 测 试 流程 ， 一 系列 优秀 的 测试 实 
践 和 更 合适 的 测试 环境 ， 以 及 自动 化 测试 框 染 和 工具 。 敏 捷 测 试 可 以 采 
用 目前 已 有 的 各 种 测试 方式 ， 与 传统 测试 相 比 ， 侧 重点 有 所 不 同 ， 主 要 
的 差别 是 价值 观 、 思 维 方式 、 流 程 和 实践 等 。 





敏捷 测试 应 该 具有 《敏捷 宣言 》 所 倡导 的 价值 观 ， 为 此 我 们 可 以 按 
照 《 敏 捷 宣 言 》 的 格式 ， 写 出 如 下 的 “敏捷 测试 宣言 ”: 


与 开发 协作 测试 胜 于 测试 分 工 与 测试 工具 ; 


可 运行 的 测试 脚本 胜 于 写 在 纸 上 的 测试 用 例 ; 


从 客户 角度 来 理解 测试 需求 胜 于 从 已 定义 的 需求 来 判定 测试 结果 ; 





基于 上 下 文 及 时 调整 测试 策略 胜 于 遵守 测试 计划 。 


敏捷 测试 强调 “与 开发 协作 交 目 动 化 测试 ”客户 思维 ?和 “动态 的 测试 
策略 调整 ”。 


那 我 们 回 过 头 来 再 看 看 上 面 的 案例 ， 至 少 第 1、2 条 ， 他 们 没有 做 
到 ， 测 试 人 员 没 有 得 到 足够 的 重视 和 壮 重 ， 开 发 和 测试 的 协作 也 不 够 ， 


并 且 : 





。 有 一 段 时 间 还 存在 独立 的 测试 部 门 ， 开 发 和 测试 变 得 更 加 泾 渭 分 
明 ， 两 拨 人 之 间 的 关系 也 更 紧张 ; 





。 没有 开 太 人 员 的 参与 ， 测 试 总 是 在 UI 层 “ 折 腾 ”*"”， 事 倍 功 半 ; 
。 触发 的 自动 化 测试 达到 的 履 蓄 率 非 常 有 限 ; 


在 转型 初期 ， 没 有 加 强 相关 测试 人 员 的 培训 ， 甚 至 不 知道 敏捷 模式 
对 测试 人 员 的 要 求 ， 招 聘 进来 的 测试 人 员 不 合格 。 在 执行 过 程 中 ,缺乏 
测试 全 略 ， 没 有 强调 从 客户 的 雷 求 出 发 和 动态 地 调整 测试 傈 略 。 





敏捷 开发 还 有 12 项 原则 ， 上 面 案 例 中 的 团队 有 没有 针对 性 地 去 对 照 
着 做 昵 ? 虽然 敏捷 开发 的 12 项 原则 似乎 没有 谈 到 测试 ， 但 测试 是 整个 软 
件 研发 的 一 部 分 ， 自 然 也 要 遵守 这 些 原则 ， 适 应 敏捷 开发 的 基本 要 求 ， 
例如 : 





。 如 何 文 撑 或 协助 开发 部 门 持续 不 断 、 尽 早 地 交付 有 价值 的 软件 ; 


。 如 何 拥抱 变化 ， 即 欣然 面 对 需 求 变化 ， 即 使 在 开发 后 期 也 一 样 ; 





只 有 遵守 这 些 原则 ， 才 能 获得 顺应 敏捷 开 怪 的 正确 方式 ， 也 只 有 六 
用 敏捷 开发 的 优秀 实践 ， 如 TDD， 并 与 开发 紧密 协作 ， 测 试 才 不 会 成 为 


敏捷 开发 的 “绊脚石 ”。 
基于 敏捷 开发 的 12 项 原则 ， 笔 者 制定 了 下 列 8 项 敏捷 测试 原则 : 


1) 尽早 和 持续 地 开展 测试 ; 


— 


2) 基于 风险 的 测试 打上 略 是 必需 的 ; 


De 


3) 测试 计划 、 设 计 和 执行 力求 简单 ; 


A 


4) 能 及 时 完成 对 软件 质量 的 全 面 评估 ; 

5) 软件 本 身 是 测试 研究 和 分 析 的 主要 对 象 ; 

6) 在 满足 所 要 求 的 质量 后 ， 测 试 进行 得 越 快 越 好 ; 
7) 对 测试 技术 精益 求 精 ; 

8) 不 断 反 思 ， 持 续 优 化 测试 流程 与 设计 。 


上 述 原 则 在 后 面 介绍 的 敏捷 测试 流程 、 实 践 中 将 会 逐步 体现 ， 到 时 
再 详细 讲解 。 后 续 还 会 继续 讨论 敏捷 测试 的 特点 、 敏 捷 测 试 丰 维 方式 和 
敏捷 测试 流程 等 。 读 者 在 看 完 后 面 的 内 容 之 后 再 来 回顾 上 面 的 采 例 和 敏 
捷 测 试 原则 ， 相 信 可 以 更 彻 怀 地 理解 什么 是 敏捷 测试 。 





2.1.3 ”敏捷 测试 的 其 他 定义 


敏捷 联盟 (Agile Alliance) 官方 网 站 上 的 “敏捷 实践 编 年 


史 ”(“Agile Practices Timeline”) 中 提 到 敏捷 测试 的 定义 发 生 在 2017 
年 ， 如 图 2-2 所 示 。 该 定义 出 自 《敏捷 软件 测试 : 测试 人 员 与 敏捷 团队 
的 实践 指南 》 和 《深入 敏捷 测试 ， 整个 敏捷 团队 的 学 习 之 旅 》， 这 两 本 
书 的 作者 是 珍妮 特 ' 格 雷 戈 里 和 者 萨 : 克 里 斯 平 。 前 者 的 英文 版 于 2009 年 
出 版 ， 后 者 的 英文 版 于 2014 年 出 版 ， 但 为 什么 这 个 定义 却 发 生 在 2017 年 
呢 ? 难道 当时 没 给 出 “敏捷 测试 ”的 定义 ? 





继续 妃 寻 下 去 ， 打 开 敏 捷 联盟 官网 中 “敏捷 实践 编 年 史 ” 上 的 《敏捷 
测试 之 定义 》 (“Our Definition of ‘Agile Testing’”) ， 你 将 会 发 现 一 个 
有 趣 的 故事 ， 如 图 2-3 所 示 。 
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图 2-2 ”敏捷 联盟 官网 上 的 “敏捷 实践 编 年 史 ” 中 的 最 后 两 条 记录 

















Our Definition of "Agile Testing” 


A student in one ofJanet's classes asked her for a definition of agile testing. He 
wanted a nice clean definition, which he didn't get from our 3-day class. Janet 
went through both of the books we authored, Agile Testing and More Agile 
Testing, and found that we do not have a succinct definition in either one. The 
closest she could find in was in this blog post. http:// 


We decided to go on a quest and posed this question to both the Linked-in 
agile testing group and the long-standing agile-testing yahoo group 一 “What 
do you think the definition of agile testing is?” 








图 2-3 ”敏捷 联盟 官网 上 关于 敏捷 测试 的 定义 的 故事 


格雷 戈 里 培训 课 的 一 名 学 生 要 求 她 为 “敏捷 测试 ”给 出 一 个 简洁 明了 
的 定义 ， 因 为 即使 他 已 经 听 了 为 期 3 天 的 培训 课程 ， 但 还 不 清楚 敏捷 测 
试 的 定义 是 什么 。 格 雷 戈 里 翻 看 了 自己 和 元 里 斯 平 合 写 的 那 两 本 书 ， 在 
书 中 确实 没有 发 现 有 关 “ 敏 捷 测试 ”明确 的 定义 ， 最 接近 的 应 该 是 自己 当 
时 写 的 一 篇 博客 《敏捷 测试 不 是 方法 论 》 (“Agile Testing Is Not A 
Methodology”) ， 但 也 没有 给 出 明确 定义 。 于 是 她 们 决定 着 手 解 决 这 个 
问题 ， 在 领 贡 和 雅虎 相关 的 敏捷 测试 群 里 征求 了 大 家 的 意见 ， 之 后 才 给 
出 了 “敏捷 测试 ”的 定义 ， 如 图 2-4 所 示 。 








应 该 这 样 说 ， 虽 然 她 们 很 晚 才 给 出 “敏捷 测试 ?的 定义 ， 但 是 元 里 斯 
平和 格雷 戈 里 还 是 给 出 了 一 个 不 错 的 定义 ， 把 敏捷 价值 观 、 敏 捷 原 则 和 
敏捷 测试 较 好 地 联系 起 来 ， 体 现 了 敏捷 测试 中 的 团队 协作 精神 和 测试 在 
敏捷 开发 、 产 品 交 付 中 应 该 起 到 的 作用 。 








敏捷 测试 定义 ( 莉 








“ 克 里 斯 平 和 珍妮 特 ' 格雷 戌 里 ) : 
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图 2-4 ”元 里 斯 平和 格雷 戈 里 给 出 的 敏捷 测试 的 定义 








2.2 ”传统 测试 与 敏捷 测试 





软件 测试 是 软件 开发 的 一 部 分 ， 有 什么 样 的 开发 模式 ， 束 应 该 有 什 
么 样 的 测试 模式 ， 因 此 适合 敏捷 开发 模式 的 敏捷 测试 和 适合 传统 的 瀑布 
式 开 发 模式 的 传统 训 试 肯定 会 有 很 多 不 同 。 我 们 还 是 通过 一 个 例子 来 全 
面 比较 一 下 传统 测试 与 敏捷 测试 的 区 别 。 





2.2.1 凤凰 项 目 : 一 个 IT 运 维 的 传奇 故事 


《凤凰 项 目 : 一 个 开 运 维 的 传奇 故事 》 是 由 美国 的 3 位 DevOps 专 家 
握 写 的 一 本 关于 IT 运 维 的 小 说 。 有 人 说 ， 在 IT 咨询 业 ， 没 读 过 这 本 书 都 
ee 。 尺 管 大 家 对 DevOps 有 不 同 的 理解 ， 但 是 你 
要 知道 ，DevOps 其 实 是 敏捷 开发 向 开 运 维 的 自然 延伸 ， 它 的 原则 和 实 
gh 从 测试 的 角度 来 看 ， 这 也 是 帮助 我 们 理解 敏捷 
测试 的 一 本 非常 不 错 的 书 。 考 虑 到 不 是 每 个 人 都 读 过 这 本 书 ， 笔 者 先 来 
介绍 一 下 这 本 书 讲 了 一 个 什么 故事 。 


故事 发 生 在 美国 一 家 历史 悠久 的 汽车 配件 生产 公司 ， 有 几 年 出 现 了 
经 营 困难 ， 被 竞争 对 手 不 断 超越 ， 公 司 经 历 了 几 轮 裁员 ， 但 是 情况 还 是 








没有 好 转 。 该 公司 最 大 的 苋 争 对 手 已 经 开始 宣传 他 们 可 以 提供 客户 在 线 
定制 汽车 的 业务 ， 而 该 公司 的 IT 系统 却 文 持 不 了 这 样 的 业务 需求 。 为 了 
扭转 这 种 被 动 的 局 面 ， 该 公司 把 希望 寄托 于 一 个 IT 系统 架构 改造 项 目 
一 一 凤凰 项 目 。 该 项 目的 名 称 有 “凤凰 涅 霸 重 生 ” 之 意 ， 可 见 该 项 目 对 于 
该 公司 是 至 关 重 要 的 。 





这 个 项 目 需要 对 该 公司 的 线 下 门店 、 网 上 商店 销售 系统 和 后 台 订 单 
处 理 系统 进行 改造 ， 但 是 两 年 来 一 直 进 展 不 力 ， 预 算 也 大 大 超支 。 该 项 
目 涉及 3 个 主要 部 门 : 研发 部 门 、 开 运 维 部 门 和 零售 业务 部 门 ， 测 试 部 
门 是 研发 部 门 的 下 属 部 门 。 研 发 部 门 负 责 新 系统 的 软件 开发 和 测试 ， 开 
运 维 部 门 负责 搭建 测试 环境 、 生 产 环境 ， 以 及 新 系统 的 上 线 部 署 ;零售 
业务 部 门 负责 网 上 商店 及 线 下 门店 的 销售 业务 。 

















从 以 往 的 合作 来 看 ， 研 发 部 门 和 IT 运 维 部 门 关 系 紧 张 ， 出 了 问题 经 
种 互相 推 恋 。 站 在 开 运 维 部 门 的 角度 来 看 ， 研 发 部 门 每 次 都 不 考 夸 和 运 维 
部 效 新 系统 需要 花费 的 时 间 ， 而 且 把 项 目 时 间 多 用 在 了 软件 开发 上 ， 留 
给 测试 的 时 间 很 少 。 这 样 就 导致 了 每 次 部 是 仓促 地 进行 上 线 部 署 ， 软 件 
不 稳定 ， 质 量 很 差 ， 用 户 体验 当然 也 不 好 。IT 运 维 部 门 甚至 不 得 不 徘 每 
隔 一 小 时 重 司 一 次 服务 器 才能 保证 系统 正常 运行 。 

















针对 凤凰 项 目 ，IT 运 维 部 门 迟 迟 拿 不 到 关于 产品 和 测试 环境 配置 的 
具体 技术 参数 ， 以 及 生产 环境 中 再 要 搭建 的 基础 设施 的 需求 。 而 从 研发 
部 门 的 角度 来 看 ，IT 运 维 部 门 很 少 派 人 参加 项 目 会 议 ， 从 他 们 那里 获取 
信息 反馈 往往 要 等 上 好 几 个 星期 ， 测 试 环境 和 生产 环境 部 署 需要 的 时 间 
太 长 ， 而 且 经 党 不一致， 导致 上 线 后 出 现 各 种 问题 。 








可 以 说 ， 凤 凰 项 目 是 一 个 特别 典型 的 IT 项 目 ， 基 本 上 宫 括 了 现实 中 
所 有 的 项 目 问题 : 项目 延期 代码 质量 低下 ， 开 发 、 测 试 和 生产 环境 不 
一 致 ， 工 期 不 考虑 测试 和 部 署 ， 没 时 间 测 试 ， 上 线 后 每 天 “救火 ">， 部 门 
间 不 合作 ， 出 了 问题 互相 指 黄 ， 等 等 。 








故事 的 主人 公 比 尔 本 来 是 一 名 IT 总 监 ， 临 危 受 命 ， 成 为 负责 整个 IT 
运 维 的 副 总 裁 。 上 任 之 初 ， 他 忙 得 焦头烂额 ， 到 处 “救火 "， 还 有 一 次 导 
然 群 职 的 经 历 。 雷 运 的 是 ， 在 困难 之 际 ， 出 现 了 一 位 “高 人 ”一 一 艾 瑞 
殉 ， 他 未 来 有 可 能 成 为 公司 董事 会 的 成 员 ， 精 通 精 苍生 产 ， 练 就 独门 绝 
技 “3 步 工作 法 ”。 在 艾 瑞 殉 的 指 皮 下， 比尔 奇迹 般 地 完成 了 任务 ， 不 但 
顺利 完成 J 了 IT 系统 的 改造 任务 ， 而 且 引 入 了 新 的 工作 模式 ， 让 IT 运 维 部 
门 、 研 发 部 门 、 测 试 部 门 、 零 售 业务 部 门 协 同 工 作 ， 实 现 了 持续 构建 、 
持续 交付 和 持续 有 反馈， 帮助 公司 实现 了 销售 人 额 的 大 幅 增 长 ， 因 此 顺利 滤 
过 难关 。 











2.2.2 3 步 工 作法 


那么 这 个 神奇 的 “3 步 工作 法 ”究竟 是 什么 呢 ? 


第 1 步 ， 流 动 原则 ， 建 立 开 发 到 IT 运 维 的 快速 价值 流 。 减 小 每 次 交 
付 和 上 线 部 普 的 软件 批量 大 小 ， 做 到 频繁 交付 、 频 繁 部 普 。 通 过 内 建 质 
量 杜绝 问 下 游 传 递 缺 陷 ， 缩 短 代 码 从 变更 到 上 线 所 需 的 时 间 ， 同 时 提高 
服务 的 质量 和 可 靠 性 。 





第 2 步 ， 反 馈 原则 ， 在 搁 术 价值 流 的 每 个 阶段 及 所 有 工作 执行 的 过 


程 中 ， 包 括 产品 管理 、 开 发 、 测 试 、 信 息 安 全 和 运 维 等 ， 建 立 快速 的 反 
饥 闭 环 ， 创 建 自 动 化 的 构建 、 集 成 和 测试 过 程 ， 以 便 尽 早 检测 出 那些 可 
能 导致 缺陷 的 代码 变更 ， 避 免 返 工 。 








第 3 步 ， 持 续 学 习 与 实验 原则 ， 建 并 学 习 型 组 织 和 质量 文化 ， 既 敦 
励 探 索 、 反 复 实践 ， 叉 能 够 把 个 人 经 验 转 化 为 组 织 的 财富 。 


简单 地 说 ， 这 个 3 步 工作 法 束 是 持续 交付 、 持 续 有 反馈、 持续 学 习 ， 
是 不 是 和 敏捷 很 相似 ? 因此， 精益 、 敏 捷 和 DevOps 从 本 质 上 来 说 是 异 
曲 同 工 的 。 





你 可 能 认为 故事 里 描述 的 项 目 改 造 后 的 情况 相 比 改造 前 太 理 想 和 戏 
剧 化 了 ， 不 太 可 能 在 短 短 几 个 月 时 间 里 发 生 这 么 大 的 变化 。 故 事 当然 是 
经 过 艺术 加 工 的 ， 是 生活 的 浓 迪 和 提炼 ， 而 且 现 实 中 很 难过 到 像 艾 瑞 元 
这 样 的 蜗 人 ， 多 数 情 况 下 还 得 徘 自 救 和 不 断 试 错 。 这 本 书 里 给 出 的 目标 
古 在 生产 环境 中 一 天 完成 10 个 部 著 ， 在 现在 来 看 ， 这 是 一 个 很 低 的 目 
标 ， 但 是 要 知道 这 本 书 是 2013 年 出 版 的 ， 在 当时 ， 大 部 分 IT 运 维 部 门 每 
季度 甚至 每 年 才能 完成 一 个 业务 系统 升级 。 























2.2.3 ”凤凰 项 目 改造 前 后 对 比 





现在 让 我 们 总 结 一 下 凤凰 项 目 改造 前 后 与 测试 有 关 的 变化 ， 如 表 2- 
1 所 示 。 这 恰恰 反映 了 软件 测试 从 传统 的 工作 模式 同 敏捷 模式 的 过 疲 过 
程 ， 也 体现 了 传统 测试 与 敏捷 测试 的 区 别 。 











表 2-1 凤凰 项 目 改造 前 后 与 测试 有 关 的 变化 


项 目 改造 前 项 目 改造 后 





.| 所 有 开发 代码 计划 一 次 性 地 发 布 | 达 代 增 量 开 发 ， 己 经 从 每 两 周一 次 部 署 过渡 
到 生产 环境 中 。 典 型 的 瀑布 式 开 | 到 每 周 完成 一 次 部 署 ， 正 在 尝试 每 天 完成 一 
发 模式 次 部 署 












































加 上 设备 采购 时 间 ， 生 产 或 测试 


环境 的 搭建 需要 几 个 月 。 直 到 快 
ee | 亚运 维 部 门 采用 了 虚拟 化 技术 ， 可 以 快速 在 
武 | 要 上 线 部 署 ， 类 似 生产 环境 的 测 


| 


民生 测试 、 生 产 环 境 一 致 性 的 问题 
试 人 员 在 系统 上 线 前 没 做 多 少 有 


效 的 测试 






































实现 了 持续 集成 :只 要 开发 人 员 提 交 了 代 
主要 依赖 手工 测试 。 到 项 目 后 ”| 码 ， 就 会 触发 自动 构建 ， 然 后 在 测试 环境 中 
期 ， 在 时 间 压 力 下 ， 即 使 有 了 测 | 自动 部 署 ， 并 且 触 发 自动 化 测试 。 这 样 既 测 
试 环 境 ， 也 不 可 能 在 几 周 内 完成 | 试 了 代码 ， 又 测试 了 环境 。 问 题 在 发 现 之 后 
手工 测试 和 回归 测试 就 立即 被 修复 ， 并 且 实 现 了 安全 性 的 自动 化 
测试 
























































生 
测试 通过 后 触发 产品 在 生产 环境 中 的 自动 部 
> 署 ， 生 产 环境 中 启动 了 自动 监控 ， 开 展 A/B 测 
加 试 〈 指 同时 上 线 两 个 不 同 的 版 本 ， 推 送 给 不 


同 客户 ， 根 据 市 场 效 果 进 行 选择 ) 。 实 现 了 
软件 测试 从 研发 阶段 向 运 维 阶段 的 延伸 





无 债 一 身 轻 ， 团 队 花 在 缺陷 预防 的 基础 架构 
建设 上 的 时 间 越 多 ， 软 件 交付 和 部 署 的 周期 
需要 越 短 。 面 对 新 的 业务 需求 ， 开 发 、 构 建 、 测 
越 来 越 多 ， 产 品 更 新 变 得 越 来 越 | 试 、 部 署 形成 快速 价值 流 ， 灵 活 、 快 速 地 响 
慢 。 往 往 几 个 月 才 会 部 署 更 新 一 | 应 市 场 需求 。 上 线 后 的 缺陷 可 以 在 一 天 内 修 
次 复 并 部 署 到 位 































































































矩阵 型 组 织 结构 ， 各 部 门 之 间 关 
系 紧张 ， 只 管 自己 那 一 部 分 ， 缺 
乏 全 局 观 ， 出 了 问题 互相 指责 
| ( 书 中 没有 特别 描述 开发 和 测试 
的 关系 ， 估 计 情 况 差不多 》 


成 并 了 特别 行动 队 〈 相 当 于 全 职能 特性 团 

队 ) ， 来 自 开 发 、 测 试 、 运 维 、 业 务 ， 甚 至 
信息 安全 等 部 门 的 成 员 目 标 一 致 ， 紧 密 协 

作 ， 勇 于 尝试 















































2.2.4 ”传统 测试 与 敏捷 测试 的 区 别 


下 面 我 们 对 传统 测试 与 敏捷 测试 的 区 别 进行 系统 性 总 结 。 


1) 传统 测试 更 强调 测试 的 独立 性 ， 将 “开发 人 员 ” 角 色 和 “测试 人 
员 ” 角 色 分 得 比较 清楚 。 而 敏捷 测试 可 以 有 专职 的 测试 人 员 ， 也 可 以 
古 “ 全 民 ” 测 试 ， 即 在 敏捷 测试 中 ， 可 以 没有 “测试 人 员 ” 角 色 ， 强 调整 个 
队 对 测试 负责 。 





2) 传统 测试 具有 明显 的 阶段 性 ， 从 需求 评审 、 设 计 评 审 、 单 元 测 
试 到 集成 测试 、 系 统 测 试 等 ， 从 测试 计划 、 测 试 设计 再 到 测试 执行 、 测 
试 报告 ， 逐 个 阶段 往 前 推进 ， 但 敏捷 测试 更 强调 持续 测试 、 持 续 的 质量 
有 反馈， 没有 明确 的 阶段 界限 。 


3) 传统 测试 强调 测试 的 计划 性 ， 而 敏捷 测试 更 强调 测试 的 速度 和 
适应 性 ， 侧 重 不 断 地 调整 计划 以 适应 需求 的 变化 。 


4) 传统 测试 强调 测试 是 由 “验证 ?和 “确认 ”两 种 活动 构成 的 ， 而 敏 
捷 测 试 没有 这 种 区 分 ， 始 终 以 用 户 需 求 为 中 心 ， 每 时 每 刻 不 离 用 户 需 
求 ， 将 验证 和 确认 统一 起 来 。 





5) 传统 测试 关注 测试 文档 ， 包 括 测 试 计划 、 测 斌 用例、 缺陷 报告 
和 测试 报告 等 ， 要 求 严格 遵守 文档 模板 ， 强 调 测 试 文档 评审 的 流程 与 执 
行 等 ， 而 敏捷 测试 更 关注 产品 本 里 ， 关 注 可 以 交付 的 客户 价值 。 在 敏捷 
测试 中 ， 强 调 面 对 面 的 沟通 、 协 作 ， 强 调 持 续 质 量 有 反馈、 缺陷 预防 。 





6) 传统 测试 痉 励 自动 化 测试 ， 但 自动 化 测试 的 成 功 与 否 对 测试 没 
有 致命 的 影响 ， 但 敏捷 测试 的 基础 就 是 自动 化 测试 ， 敏 捷 测 试 是 由 展 好 
的 目 动 化 测试 框架 支撑 的 快速 测试 。 





2.3 ”敏捷 测试 的 思维 方式 


敏捷 测试 与 传统 测试 之 间 的 区 别 体现 在 很 多 方面 ， 如 测试 的 独立 
性 、 阶 段 性 、 计 划 性 ， 以 及 上 自动 化 测试 的 重要 性 等 ， 但 最 本 质 的 区 别 不 
在 这 些 ， 而 是 体现 在 测试 原则 和 测试 思维 方式 (test mindset) 上 。 





有 时 ，mindset 也 被 翻译 成 “心态 ”。 我 们 常 昕 到 的 一 句 话 : 态度 决定 
一 切 。 也 可 以 说 ,一 个 人 的 心态 决定 着 一 个 人 的 行为 ， 一 个 人 的 思维 方 
式 决定 着 一 个 人 的 行为 方式 。 那 么 ， 测 试 的 思维 方式 也 决定 了 软件 测试 
的 工作 模式 。 


2.3.1 固定 性 思维 与 敏捷 思维 


2013 年 ， 笔 者 参加 了 中 国 敏捷 大 会 ， 敏 捷 大 师 琳 达 : 赖 辛 说 到 ， 传 
统 软件 开发 思维 是 固定 性 思维 ， 而 具有 敏捷 思维 的 人 认为 : 


。 能 力 是 可 以 不 断 成 长 的 ， 而 不 是 固定 的 ; 


目标 都 是 可 以 学 习 的 ; 


面 对 挑 成 是 拥抱 它 而 不 是 固 开 它 








面 对 失 败 不 是 贡 备 同事 而 是 需要 搞 清 楚 为 什么 失败 。 


回 定性 思维 和 敏捷 思维 的 对 比如 表 2-2 所 示 。 








表 2-2 固定 性 思维 和 敏捷 思维 的 对 比 





















































确定 责任 人 








努力 为 那些 没有 天 赋 的 人 有 路 径 去 精通 








虽然 赖 辛 没有 直接 提 到 成 长 性 思维 (growth mindset) ， 但 通过 与 
固定 性 思维 (fixed mindset) 的 对 比 ， 其 实 敏捷 思维 就 是 成 长 性 思维 。 
固定 性 思维 和 成 长 性 思维 体现 了 应 对 成 功 与 失败 ， 以 及 成 绩 与 挑战 时 的 
两 种 基本 心态 。 今 天 我 们 推 尝 敏捷 ， 其 实 就 是 推 尝 成 长 性 思维 。 


2.3.2 成 长 性 思维 





成 长 性 思维 是 由 斯 坦 福 大 学 心理 学 教授 卡 罗 尔 - 德 韦 克 提 出 的 。 德 
韦 元 从 事 心 理学 研究 数 十 年 ， 积 索 了 大 量 的 经 验 ， 她 坚信 筷 维 模式 的 力 
量 ， 确 定 拥有 成 长 性 思维 的 人 在 遇 到 困难 和 挑战 时 更 加 乐观 和 积极 ， 这 
些 人 相信 通过 上 自己 的 不 懈 努 力 能 够 元 服 困难 ， 最 终 走 癌 成 功 。 











德 韦 克 就 “成 长 性 思维 ”在 Ted 上 做 过 一 次 演讲 ， 演 讲 题目 是 “请 相 
信 ， 你 可 以 进步 ”(“The power of believing that you can improve”) ， 该 
演讲 到 目前 已 有 1000 多 万 人 浏览 。 她 还 为 此 写 了 《终身 成 长 : 重新 定义 
成 功 的 思维 模式 》 一 书 ， 影 响 了 很 多 人 。 该 书 中 列举 了 很 多 例子 ， 如 职 
业经 理 人 李 ' 亚 科 卡 和 企业 家 杰克 : 韦 尔 奇 的 对 比 ， 但 该 书 笔者 印象 更 为 
深刻 的 例子 是 网 球 明星 麦 肯 罗 和 篮球 明星 迈克 尔 ' 乔 丹 的 对 比 。 





麦 肯 罗 是 典型 的 具有 国定 性 思维 的 人 ， 最 看 重 自己 的 “世界 冠军 ” 称 
写 ， 忆 认为 自己 没 错 ， 训 欢 把 一 切 贡 任 推 给 别人 ， 因 此 很 容易 发 脾气 ， 
只 能 红 极 一 时 ， 职 业 生 涯 很 短暂 。 


池 
演 
区 

四 


但 乔丹 就 不 一 样 ， 他 虽然 日 后 成 为 了 篮球 巨星 ， 但 早期 他 并 没有 太 
高 的 篮球 天 赋 ， 因 为 他 连 高 中 篮球 队 都 没 被 选 上 ， 完 全 靠 不 断 苦 练 ， 才 
成 为 了 篮球 高 手 。 他 就 拥有 成 长 性 思维 ， 胜 不 骄 ， 败 不 包 ， 每 次 打 输 一 
场 比赛 ， 没 有 任何 抱怨 和 责备 ， 而 是 继续 去 练 球 。 即 使 赢 了 比赛 ， 如 果 
他 觉得 某 几 次 没 投 好 篮 ， 也 马上 再 去 练 ， 努 力 改进 。 正 因为 他 拥有 成 长 
性 思维 ， 才 会 不 看 重 当前 所 取得 的 成 就 ， 可 以 从 篮球 运动 转 到 他 不 熟悉 
的 棒球 运动 ;也 正 因为 他 拥有 成 长 性 思维 ， 其 职业 运动 生涯 很 长 ， 从 
1984 年 入 选美 国 职业 篮球 联盟 到 2003 年 退役 ， 将 近 20 年 时 间 。 











固定 性 思维 会 让 你 更 关注 结果 ， 关 注 是 对 还 是 错 ， 通 常会 忙于 捍卫 
目 我 或 通过 避免 挑战 来 提高 目 章 心 ， 努 力 保护 自我， 相信 天 赋 ， 认 为 目 
己 拥 有 茶 种 天 赋 ， 以 彰显 与 别人 不 一 样 ;抱怨 目 己 没 有 这 种 天 赋 ， 能 不 
努力 束 不 努力 ， 结 果 就 是 目 大 或 目 卑 ， 并 且 喜 欢 抱 忽 ， 拒 绝 接 受 挑 成 ， 
面 对 困 难 总 是 找 借 口 ， 容 易 妥 协和 绝望 ， 并 最 终 成 为 失败 者 。 








而 成 长 性 思维 的 人 相信 能 力 是 可 以 被 塔 养 的 ， 总 是 努力 并 不 断 成 
长 ;可 以 接受 失败 ， 但 不 会 成 为 失败 者 ， 充 满目 信 ， 内 心 有 力 量 ， 认 为 
今天 的 失败 不 代表 明天 会 失败 ， 相 信和 上 自 己 的 潜力 是 未 知 的 ， 一 定 能 克服 
困难 ， 于 是 越战 越 男 ， 最 终 走 回 成功。 





通过 上 述 对 比 ， 惑 会 发 现成 长 性 思维 对 我 们 来 说 太 重 要 了 。 





2.3.3 ”以 实例 来 辨析 不 同 思 维 的 测试 工程 师 


回 到 测试 领域 ， 我 们 可 以 比较 一 下 拥有 成 长 性 思维 的 测试 工程 师 和 





拥有 固定 性 思维 的 测试 工程 师 有 什么 不 同 。 为 了 更 直观 地 进行 比较 ， 笔 
者 特地 制作 了 一 张 表 ， 如 表 2-3 所 示 。 不 过 要 注意 ， 每 一 个 人 都 同时 拥 
有 固定 性 思维 和 成 长 性 思维 ， 只 是 在 某 个 时 刻 ， 某 种 思维 占据 了 主导 地 
位 。 我 们 说 条 人 拥有 成 长 性 思维 ， 是 指 他 的 成 长 性 思维 此 时 占 主 叶 地 


人 


场景 / 问 


题 


批评 你 的 
测试 能 
弱 





经 理 表 扬 
为 二 从 
测试 工程 
师 








面 对 一 个 
不 会 测试 
的 任务 





面 对 复 杂 
的 系统 

















拥有 成 长 性 思维 的 测试 工程 师 和 拥有 固定 性 思维 的 测试 工程 师 的 对 比 





























拥有 固定 性 思维 的 测试 工程 


师 





拥有 成 长 性 思维 的 测试 工程 师 














我 不 是 一 个 优秀 的 测试 工程 师 | 只 是 目前 我 还 不 够 优秀 ， 但 我 会 努力 的 





和 不 各 能 信 好 一 栏 用 明 。 我 是 息 么 做 的 ? 我 也 可 以 试 试 。 将 来 我 会 
~ 中 外 3 1 》 小 

努力 ， 并 多 向 她 讨教 ， 学 习 她 好 的 一 面 ， 
是 不 如 她 


就 可 以 做 得 和 她 一 样 好 ， 甚 至 超过 她 


























我 天 生 就 不 是 做 测试 的 料 ， 不 | 当 我 们 学 会 如 何 解 决 一 种 新 问题 时 ， 自 己 
想 学 测试 的 测试 能 力 就 提高 











测试 就 是 很 难 ， 我 做 不 好 要 坚持 做 下 去 ， 就 能 做 好 














要 么 重头 丧气， 承认 自己 做 错 | 认为 人 都 是 在 犯错 的 过 程 中 成 长 起 来 的 ， 

















软件 上 线 | 了 ;要么 抱怨 是 开发 人 员 的 问 | 关键 是 要 反思 。 思 考究 疯 如 何 才 会 导致 出 

后 出 现 了 | 题 并 找 理由 ， 认 为 是 由 于 环境 | 现 这 样 的 问题 、 如 何 改进 测试 方法 ， 以 及 

问题 配置 不 对 、 需 求 不 清晰 等 其 他 | 如 何 提高 自己 的 分 析 能 力 ， 告 诚 自己 不 要 
问题 导致 的 再 犯 同样 的 错误 










































































测试 过 程 
中 遗漏 了 
某 些 测试 
范围 






































最 怕 业 务 不 清楚 ， 业 务 对 我 来 | 测试 人 员 必 须要 理解 业务 ， 如 果 不 理解 ， 
说 太 难 了 ， 根 本 没 法 理解 ， 我 | 就 要 学 习 ， 如 主动 与 业务 人 员 、 产 品 人 员 








就 是 不 懂 交流 ;也 会 经 常 反思 : 我 忽略 了 什么 ? 








eT 我 会 去 查找 : 哪些 内 容 不 够 好 ， 以 及 问题 
测试 计 我 不 能 做 得 更 好 了 ， 或 者 说 我 | 出 在 哪里 。 我 应 该 去 修改 ， 可 以 改 好 一 
座 J ET 
划 ， 团 队 不 擅长 这 个 ， 这 已 经 是 最 好 的 | 点 ， 是 有 改进 空间 的 。 将 来 ， 我 会 征求 大 
| 结 家 的 意见 ， 会 多 问 自己 .这 真是 最 好 的 结 
不 满意 
果 吗 ? 



































我 能 多 做 点 ， 我 可 以 试 试 ， 也 许 能 找到 更 
好 的 办 法 ， 比 平时 做 得 快 。 如 果 没 有 办 
法 ， 就 多 加 努力 





我 的 能 力 只 能 做 这 么 多 ， 再 多 
肯定 完成 不 了 








开发 人 员 

投诉 : 测 再 给 我 一 次 机 会 ， 并 且 多 给 我 一 些 时 间 ， 
试 效率 ”| 这 太 难 了 ， 我 能 力 有 限 ， 肯 定 | 我 可 以 尝试 其 他 的 方法 ， 或 者 寻求 他 人 的 
低 ， 测 试 | 没 办 法 ， 只 能 放弃 了 帮助 或 外 部 资源 ， 从 而 提高 效率 ， 让 开发 
做 得 比较 人 员 满意 





























可 以 列举 的 例子 其 实 还 有 很 多 。 成 长 性 思维 是 敏捷 思维 中 最 具 代 表 


性 的 ， 不 但 文 持 个 人 快速 成 长 和 学 习 型 团队 的 建立 ， 而 且 从 理论 上 文 
持 “ 快 速达 代 ”这 样 的 实践 ， 不 断 改 进 ， 持 续 满 足 业 务 和 客户 的 需求 。 


2.3.4 队 对 质量 负责 的 思维 


“成 长 性 思维 ”不 完全 等 同 于 敏捷 思维 ， 因 为 敏捷 思维 还 有 更 多 的 内 
池 。2013 年 ， 笔 者 在 第 8 届 中 国 敏 捷 大 会 上 做 了 一 次 演讲 ， 沽 讲 的 主题 
是 “测试 价值 越 小 则 企业 的 收益 越 大 ”。 虽 然 笔者 从 事 测试 领域 的 相关 工 
作 ， 但 在 敏捷 环境 下 没有 过 分 强调 测试 的 价值 。 





测试 守护 质量 ， 提 供 质 量 信息 ， 甚 至 帮助 团队 改进 质量 ， 自 然 很 有 
价值 ， 但 是 ， 如 果 依 赖 测试 来 保证 质量 ， 那 么 其 实 是 很 难保 证 质量 的 ， 
而 且 成 本 很 高 。 我 们 应 该 让 整个 团队 关注 质量 ， 从 需求 开始 尽 可 能 一 次 
把 事情 做 对 ， 从 而 构建 出 高 质量 的 产品 ， 这 对 企业 来 讲 更 有 价值 一 一 效 
率 更 高 、 成 本 更 低 。 








如 果 在 开发 过 程 中 引入 了 缺陷 ， 就 需要 进行 缺陷 分 析 ， 因 为 缺陷 预 
防 比 发 现 缺 陷 〈 测 试 ) 更 有 价值 。 如 果 一 个 企业 在 测试 上 投入 越 来 越 
少 ， 同 时 还 能 维持 原 有 的 质量 水 平 ， 则 说 明 这 个 企业 努力 的 方向 是 正确 
的 ,，“ 测 试 价值 越 小 则 企业 的 收益 越 大 ?就 是 这 个 含义 。 有 了 这 样 的 思 
维 ，TDD/ATDD 就 容易 被 接受 。 


2.3.5 上 下 文 驱动 的 思维 与 用 户 思 维 


在 敏捷 测试 中 ， 还 包含 上 下 文 驱动 的 思维 ， 也 就 是 要 认识 到 上 下 文 
是 一 直 在 变 的 ， 测 试 的 策略 和 方法 也 要 根据 上 下 文 及 时 进行 调整 ， 不 断 
优化 ， 尽 可 能 达到 更 有 效 、 更 高 效 的 测试 状态 。 什 么 是 上 下 文 ? 可 以 将 
上 下 文 简单 地 理解 为 项 目 所 处 的 环境 ， 以 及 所 要 满足 的 条 件 等 ， 包 括 项 
目 人 员 、 风 险 变 化 、 研 发 状态 和 质量 标准 等 。 








对 于 上 下 文 驱动 的 思维 ， 一 个 简单 的 例子 就 是 : 不 存在 最 佳 实践 。 
虽然 我 们 经 党 担 及 “最 佳 实践 "， 但 是 所 有 的 最 佳 实践 只 代表 上 昨天， 不 代 
表 今 天 ， 更 不 代表 明天 ; 而 且 最 佳 实践 只 是 相对 东 个 团队 是 最 佳 的 ， 对 
其 他 团队 则 不 一 定 是 最 佳 的 。 




















敏捷 测试 更 需要 用 户 思 维和 价值 思维 ， 这 比较 容易 理解 。 例 如 ， 不 
要 退 求 技术 的 复杂 性 ， 而 是 做 对 客户 有 价值 的 事情 ， 因 此 ， 在 多 数 情况 
下 ， 越 简单 越 好 。 而 像 系 统 性 思维 、 批 判 性 思维 和 结构 化 思维 等 ， 是 传 
统 测试 和 敏捷 测试 共同 拥有 的 ， 第 3 章 会 讲 到 。 





2.4 敏捷 测试 流程 解析 


在 介绍 完 敏捷 测试 的 思维 方式 之 后 ， 为 何 要 先 谈 流程 呢 ?” 因 为 流程 
也 可 以 理解 为 实施 框架 ， 容 易 让 人 看 到 研究 对 象 完整 的 样子 ， 并 了 解 实 
施 的 全 过 程 ， 知 道 从 哪里 开始 ， 以 及 如 何 结束 ， 从 而 不 会 陷入 茫然 的 境 
地 。 例 如 ， 在 敏捷 开发 中 ， 有 众多 的 落地 模式 ， 如 水 唱 方 法 、 极 限 编 
程 、Scrum、 自 适应 软件 开发 和 动态 系统 开发 方 法 等 ， 但 Scrum 给 出 了 
一 个 清晰 且 简 单 的 流程 ， 让 大 家 很 容易 理解 Scrum 是 如 何 运 作 的 ， 于 是 
就 容易 被 大 家 接受 。 因 此 ， 现 在 人 们 谈 起 敏捷 ， 首 先 会 想到 Scrum。 


2.4.1 _ Scrum 横 式 下 的 测试 流程 


那么 ， 我 们 就 先 从 大 家 比较 熟悉 的 、 相 对 简单 的 Scrum 模 式 讲 起 。 
Scrum 中 没有 如 瀑布 模型 那样 将 研发 周期 分 为 需求 、 设 计 、 编 程 、 测 试 
和 运 维 等 明显 的 阶段 ， 但 需求 阶段 是 隐 仿 存在 的 ， 束 是 发 布 计划 
Grelease planning) 产生 产品 竺 办 事项 列表 这 个 过 程 ， 包 括 梳理 需求 、 
优先 级 排序 和 估算 基本 工作 量 等 ， 而 后 续 欠 代 的 过 程 可 以 理解 为 持续 设 
计 、 持 续 编 程 、 持 续 构 建 〈 持 续集 成 ) 、 持 续 测 试 和 持续 部 署 的 过 程 。 





在 Scrum 碗 代 中 ， 我 们 强调 持续 测试 ， 但 如 果 只 说 “持续 测试 "， 读 
者 一 定 很 迷茫 ， 不 知道 在 Scrum 中 如 何 具 体 做 测试 ， 于 是 笔者 设计 了 一 
张 敏捷 测试 的 流程 图 ， 如 图 2-5 所 示 。 
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图 2-5” Scrum 模式 下 的 敏捷 测试 流程 

从 图 2-5 中 可 以 看 出 ，Scrum 模 式 下 的 敏捷 测试 流程 有 7 项 主要 活 
动 : 测试 需求 的 分 析 与 定义 、 测 试 计 划 、 测 试 设计 、BVT (build 

verification testing) 、 持 续 测试 、 版 本 验收 测试 ， 以 及 测试 交付 与 反 


思 ， 但 不 能 理解 为 7 个 阶段 ， 许 多 活动 都 是 并 行 的 ， 包 括 计 划 、 设 计 都 
是 贯穿 整个 和 欠 代 的 。 


1) 测试 需求 的 分 析 与 定义 ， 对 用 户 故 事 、Epic 等 进行 评审 ， 为 每 
一 个 用 户 故 事 建 立 验收 标准 ， 确 保 它 具有 可 测试 性 ， 并 从 业务 需求 出 
发 ， 了 解 要 做 哪些 测试， 初步 界定 测试 的 范围 等 。 


2) 测试 计划 ， 这 里 指 的 是 当前 达 代 的 测试 计划 ， 包 括 进一步 明确 
体 的 业务 要 求 和 质量 标准 ， 制 定 测 试 目 标 ， 明 确 测试 范围 和 测试 项 ， 
解 测 试 子 目标 ， 识 别 出 测试 风险 并 制定 测试 集 略 等 。 计 划 古 一 个 窗 隆 
整个 迭代 的 过 程 ， 也 束 是 前 面 所 说 的 ， 要 基于 上 下 文 不 断 调整 或 优化 测 
试 计划 ， 只 是 在 迭代 计划 时 先 写 出 初步 的 测试 计划 ， 按 照 计 划 开 始 执行 
后 续 的 测试 过 程 。 


具 
分 








3) 测试 设计 ， 这 里 强调 的 是 粗 粒度 的 测试 设计 ， 包 括 测试 模型 设 
计 ， 如 事件 流 图 、 状 态 图 等 的 设计 ， 而 不 是 指 测试 用 例 的 设计 ， 因 为 在 
7.4 节 讨论 探索 陈 训 试 时 ， 会 指出 敏捷 汕 试 完全 可 以 不 写 测 试用 例 。 


4) BVT， 版 本 构建 的 验证 测试 ， 即 只 要 有 版 本 构建 ， 不 管 是 每 日 
构建 ， 还 是 代码 提交 触发 的 软件 版 本 构建 ， 都 需要 对 软件 版 本 进行 目 动 
验证 ， 因 为 只 有 高 成 功率 的 持续 集成 才 有 意义 。 这 里 的 BVT， 不 但 包含 
传统 的 冒 烟 测试 ， 即 对 当前 软件 版 本 实现 的 基本 功能 进行 测试 ， 而 且 包 
括 对 代码 进行 扫描 ， 检 查 代码 的 规范 性 、 安 全 性 等 ， 即 通常 所 说 的 代码 


静态 分 析 。 


5) 持续 测试 是 欠 代 中 主要 的 活动 。 根 据 前 面 案例 所 讲 的 ， 测 试 的 


问题 肖 常 出 在 这 里 ， 测 试 之 所 以 会 成 为 持续 交付 的 瓶 贷 ， 束 是 因为 没 能 
做 到 持续 测试 。 关 于 究竟 什么 是 持续 测试 ， 后 面 会 有 进一步 的 说 明 。 这 
里 包括 设计 评审 、 单 元 测试 、 用 户 故 事实 现 的 验证 和 集成 测试 等 ， 也 包 
含 持续 的 新 功能 测试 和 持续 的 回归 测试 ， 以 及 性 能 测试 、 安 全 测试 、 兼 
容 性 测试 等 针对 软件 质量 属性 的 专项 测试 。 








6) 版 本 验收 测试 。 敏 捷 中 的 验收 测试 通常 是 指 对 用 户 故 事 的 验收 
标准 的 验证 ， 但 是 笔者 觉得 还 得 在 交付 前 增加 这 样 一 个 环节 一 一 将 所 有 
的 用 户 故 事 串 起 来 进行 相对 全 面 的 测试 。 例如， 从 业务 流程 出 发 ， 完 成 
站 到 并 (end-to-end，E2E) 的 测试 ， 相 当 于 许多 团队 在 Beta 环 境 、 准 和 
产 环 境 中 进行 一 轮 完 整 的 测试 或 试用 一 段 时 间 。 因 为 之 前 的 测试 具有 一 
定 的 局 限 性 ， 逐 个 单元 测试 、 逐 个 故事 验证 ， 比 较 零 碎 ， 缺 少 系统 、 全 
面 的 测试 ， 而 且 代 码 一 直 在 修改 。 








7) 测试 交付 与 反思 。 即 使 通过 验收 测试 ， 也 不 意味 着 测试 结 
了 ， 就 像 Scrum 和 从 代 后 期 还 有 两 个 会 议 : 达 代 评审 会 和 反思 会 。 虽 然 测 
试 报告 、 缺 陷 分 析 等 可 以 自动 完成 ， 但 这 也 是 要 做 的 事 ， 就 像 BVT 是 目 
动 进行 的 ， 我 们 也 把 它 定 义 为 一 项 重要 的 活动 。 除 测试 报告 、 缺 陷 分 析 
之 外 ， 测 试 交 付 还 包括 质量 分 析 ， 并 要 回顾 、 审 视 整 个 测试 过 程 ， 找 到 
测试 不 佳 的 地 方 ， 从 而 在 下 一 个 迭代 版 本 中 改进 。 


2.4.2 ”敏捷 测试 的 通用 流程 


如 果 有 的 团队 没有 用 Scrum， 而 是 采用 了 其 他 的 敏捷 开发 模式 ， 如 


BDD、FDD 等 ， 那 么 敏捷 测试 流程 是 怎么 样 的 ? 


BDD 是 TDD 的 具体 落地 ， 更 准确 地 说 ， 是 ATDD 的 落地 。 有 别 于 以 
往 的 “ 先 编码 ， 后 测试 ”的 开发 过 程 ，TDD 是 在 编程 之 前 ， 先 写 测 试 脚 本 
或 设计 测试 用 例 ， 在 敏捷 开发 中 被 称 为 测试 在 前 的 编程 (test-first 


programming) 。 


无 论 是 TDD 还 是 ATDD， 都 是 强调 “测试 在 前 ”， 使 得 我 们 对 所 做 的 
设计 或 所 写 的 代码 有 足够 的 信心 ， 同 时 也 有 勇气 快速 重 构 设 计 或 代码 
(敏捷 中 经 常 要 做 的 事 ) ， 这 将 有 利于 快速 迭代 、 持 续 交 付 。 重 构 的 前 
提 惑 是 测试 就 绪 〈testing is ready) ， 在 这 样 的 前 提 下 ， 重 构 的 风险 会 很 
低 。 








TDD 也 确保 了 单元 测试 是 持续 的 ， 必 须 先 写 测 试 脚 本 ， 再 写 代 码 。 
只 要 编程 是 持续 的 ， 单 元 测试 、 集 成 测试 就 也 是 持续 的 。 更 重要 的 是 第 
一 次 把 事情 做 对 ， 更 好 地 保证 代码 质量 ， 研 发 的 成 本 也 就 降 到 了 最 低 ， 
即 我 们 前 面 强 调 的 “质量 是 构建 出 来 的 ”， 预 防 缺陷 比 发 现 缺 陷 更 有 价 
值 。 如 果 在 代码 层 实施 TDD 有 困难 ， 我 们 就 将 TDD 移 到 需求 层 来 落地 ， 
这 样 就 产生 了 ATDD、BDD。 


如 果 是 FDD， 就 可 以 参考 上 面 的 Scrum， 延 伸 过 去 ， 建 立 适 合 自己 
的 流程 。 一 般 来 说 ， 流 程 需要 根据 上 下 文 一 一 开发 模式 、 产 品 、 行 业 、 
团队 进行 调整 或 剪裁 ， 找 到 适合 上 自己 的 流程 ， 并 不 是 一 成 不 变 的 。 





现实 中 有 不 少 敏捷 团队 还 保留 着 “ 提 测 ”这 
好 代码 ， 在 某 一 天 达到 某 个 标准 ， 就 可 以 提交 给 测试 团队 ， 然 后 开始 全 








面 测 试 。 这 其 实 还 是 传统 测试 ， 不 是 敏捷 测试 ， 开 发 和 测试 被 分 为 两 个 
不 同 的 阶段 ， 还 没有 真正 跨 入 敏捷 测试 。 的 确 ， 有 不 少 敏捷 团队 只 是 交 
付 的 节奏 快 了 ， 但 执行 的 一 套 流 程 还 是 传统 的 ， 即 我 们 通常 说 的 “小 瀑 
布 ”、 伪 敏捷 。 


持续 测试 没有 “ 提 测 ”环节 ， 持 续 测 试 也 不 等 于 持续 集成 ， 持 续集 成 
里 只 包含 了 BVT; 持续 测试 也 不 等 于 自动 化 测试 ， 虽 然 会 回 目 动 化 测试 
借 力 ， 但 新 的 功能 特性 还 是 会 用 手工 的 探索 式 测试 的 方式 来 测试 。 持 续 
测试 就 是 从 产品 发 布 计划 开始 ， 直 到 交付 、 运 维 ， 测试 融 于 其 中 ， 并 
与 开发 形影不离 ， 随 时 暴露 出 产品 的 质量 风险 ， 随 时 了 解 产 品质 量 状 
态 ， 从 而 满足 持续 交付 对 测试 、 质 量 管理 所 提出 的 新 要 求 。 甚 至 可 以 
想 想 F1( 一 级 方程 式 ) 赛车 ， 在 比赛 时 需要 加 油 或 比赛 中 出 现 故 障 ， 都 
是 场 修 处 理 ， 处 理 完 了 再 继续 比赛 。 














2.4.3 ”敏捷 测试 流程 闭环 与 持续 误 试 


目前 ， 我 们 也 开始 关注 测试 右 移 ， 做 更 多 的 在 线 监 控 、 在 线 测 试 。 
根据 “持续 测试 给 数字 化 业务 赋 能 ”(Continuous Testing as a Digital 
Business Enabler) 调查 数据 显示 ， 持 续 测 试 带 来 的 收益 非常 明显 ， 如 图 
2-6 所 示 ， 其 中 测试 左 移 到 需求 阶段 的 活动 (left-shifting testing activity 
to requirements phase ) 提 高 了 2.5 倍 ; 迭代 交付 快 10 倍 速度 (deliver 10x 
faster iterations) 的 可 能 性 提高 了 1.5 倍 ;交付 速度 〈speed of delivery) 
提高 了 1.9 倍 ; 缺陷 减少 幅度 超过 50% (reduce defects by 50+%) 的 可 能 
性 提高 了 2.6 倍 ; 输出 质量 “quality of output) 提升 了 2.4 倍 ; 整个 产 出 投 


入 比 (ROI) 提高 了 3.9 倍 。 


QUALITY 





图 2-6 


2 = 2.5X 会 
LU 
访 = more likely to have succeeded in more likely to deliver 10x 


left-shifting testing activity to 


Tangible Evidence 


of the incremental value continuous testing represents for “Leaders” 


SX 会 1.9X 会 


more confident in speed 
of delivery 


2 会 


more confident in quality 
of output 


3.9x 会 


more likely to experience 
rapid revenue growth 


I faster iterations 
requirements phase 


2.6X 会 


more likely to reduce 
defects by 50%+ 


“持续 测试 给 数字 化 业务 赋 能 ”调查 结果 


对 于 不 同 的 敏捷 开发 模式 ， 敏 捷 测 试 流程 也 可 以 抽象 成 如 图 2-7 所 
示 的 闭环 。 敏 捷 团 队 成 员 《 包 括 开 发 人 员 、 测 试 人 员 ) 需要 拥有 敏捷 测 
试 思 维 方式 ， 以 加 强 协作 ， 提 倡 TDD， 尽 早 开始 测试 并 能 实现 持续 测 
试 ， 包 括 及 时 、 持 续 地 对 需求 、 设 计 和 代码 等 进行 评审 ， 以 便 能 够 及 
时 、 持 续 地 揭示 需求 、 设 计 、 代 码 和 系统 中 存在 的 质量 风险 ， 及 时 反馈 
给 团队 和 项 目 利益 相关 者 (干系 人 )〉 。 就 像 笔者 经 名 说 的 ， 不 仅 把 bug 
报 给 开发 人 员 ， 而 且 要 透 过 bug 看 到 质量 风险 和 问题 的 本 质 ， 如 开 有 人 
员 对 需求 的 理解 不 正确 、 茶 个 技术 方面 存在 短 板 等 。 


产品 愿景 


交付 价值 





建立 验收 标准 
ATDD 











在 线 监控 
与 测试 





特性 团队 拥有 

敏捷 测试 
价值 观 

思维 方式 






代码 评审 
单元 测试 


ClBVT 


图 2-7 敏捷 测试 流程 闭环 





2.4.4 从 敏捷 项 目 管理 角度 来 看 测试 流程 


上 面 主 要 是 从 软件 开发 过 程 〈《 即 工程 过 程 ) 来 展示 敏捷 测试 流程 ， 
如 果 从 项 目 管理 角度 来 展示 测试 流程 ， 那 么 可 以 描述 成 如 图 2-8 所 示 的 
流程 。 这 个 流程 主要 强调 : 


。 尽 可 能 写 出 简单 的 测试 计划 ， 能 写 一 页 纸 就 不 写 两 页 纸 ; 


。 没有 测试 用 例 的 设计 ， 而 只 是 粗 粒度 的 测试 设计 《前 面 有 说 明 ) ; 





。 测试 执行 的 双 文 撑 ， 不 但 需要 目 动 化 测试 ， 而 且 需 要 探索 式 测试 


。 强调 质量 文化 、 基 础 设施 等 的 重要 性 ， 并 贯 罕 整 个 测试 周期 。 





详细 内 容 将 在 本 书 第 6 蔓 和 第 7 章 中 讨论 。 


质量 文化 : 缺陷 预防 、 质 量 内 建 全 过 程 的 协作 、 有 效 沟通 





良好 的 测试 基础 设施 ( 自动 化 测试 平台 ， 数 据 平台 ， 缺 陷 、 质 量 与 项 目 管理 平台 ) 


图 2-8 敏捷 项 目 管理 中 的 测试 流程 
2.5 新 的 敏捷 测试 四 象限 


2.5.1 ”敏捷 测试 四 象限 之 历史 


敏捷 测试 四 象限 (agile testing quadrant〉 由 莉 萨 : 克 里 斯 平 与 珍妮 特 
.格雷 戈 里 在 2009 年 出 版 的 《敏捷 软件 测试 : 测试 人 员 与 敏捷 团队 的 实 
践 指南 》 书 中 提出 ， 如 图 2-9 所 示 。 


探索 式 测试 

场景 、 易 用 性 测试 
用 户 验收 测试 
cp 测试 


8a0 六 他 区 





单元 测试 性 能 和 压力 测试 
组 件 测试 安全 性 测试 
“ 非 功能 性 ”测试 








面向 技术 














图 2-9 ”元 里 斯 平和 格雷 戈 里 提出 的 敏捷 测试 四 象限 








这 个 四 象限 要 追 调 到 2003 年 。 这 年 8 月 ， 布 莱恩 :马里 元 连续 写 了 几 
篇 文章 试图 为 敏捷 训 试 指明 发 展 方向 ， 因 为 之 前 有 人 总 是 对 他 访 ， 敏 捷 
测试 只 是 一 项 技能 ， 而 不 能 成 为 一 门 学 科 。 在 此 期 间 ， 他 花 了 很 多 时 间 
在 思考 敏捷 测试 将 往 哪 个 方 癌 发 展 这 个 问题 ， 于 是 产生 了 这 个 四 象限 ， 
但 那 时 它 还 不 叫 四 象限 ， 而 是 叫 测 试 窍 阵 (test matrix) ， 也 没有 图 2-9 
那么 详细 ， 只 是 一 个 非 冲 简单 的 矩阵 ， 如 图 2-10 所 示 ， 千 诉 测试 人 员 可 
以 遇 这 4 个 方 问 努力 。 





面 对 技术 


图 2-10 ”马里 克 的 测试 矩阵 


1) 面 问 业 务 (business facing) 的 测试 ， 即 用 业务 领域 的 术语 来 表 
达 测 试 设 计 或 测试 用 例 。 例 如 ， 你 去 ATM 机 上 取 钱 ， 输 入 的 金额 多 于 
你 账户 上 现 有 的 资金 ， 系 统 会 告诉 你 ， 余 额 不 足 。 面 同业 务 的 测试 最 好 
由 了 解 业务 的 人 员 【〔 如 产品 负责 人 、 业 务 分 析 师 等 ) 编写 ， 一 般 不 适合 
目 动 化 测试 ， 而 是 手工 测试 。 


2) 面 对 技 术 (technology facing) 的 测试 ， 是 用 技术 的 方式 来 完成 
测试 。 例 如 ， 不 同 的 浏览 器 和 服务 器 交互 的 逻辑 处 理 没什么 不 同 ， 但 前 





端 界 面 展示 会 有 不 同 ， 因 为 不 同 的 浏 览 器 对 JavaScript 处 理 的 方式 是 不 同 
的 ， 所 以 针对 不 同 浏览 器 测试 的 重点 是 在 前 端的 兼容 性 测试 。 这 部 分 测 
试 ， 最 好 由 开发 人 员 、 测 试 人 员 来 做 ， 也 适合 上 自动 化 测试 。 





3) 支持 编程 (support programming) 的 测试 ， 是 针对 软件 应 该 执行 
的 具体 功能 操作 而 进行 的 测试 。 这 些 测 试 可 以 在 软件 版 本 构建 之 前 编 
号， 通常 是 自动 化 的 ， 而 且 主 要 用 于 回归 测试 。 








4) 产品 批判 性 (critique product〉 的 测试 ， 是 一 种 尝试 识别 完整 软 
件 中 问题 的 测试 ， 更 多 的 场景 是 负面 测试 、 异 常 测试 ， 即 测试 人 员 演 
试 “ 破 坏 ” 软 件 以 发 现 软件 的 缺陷 。 





如 末 仪 从 图 2-10 这 样 简 单 的 矩阵 来 看 ， 它 与 自动 化 测试 不 是 特别 相 
天 ， 昌 然 面 对 技术 的 测试 、 支 持 编 程 的 测试 都 是 适合 自动 化 测试 的 ， 而 
且 这 两 个 方向 有 些 重 个 ， 区 分 起 来 很 难 。 产 品 批判 性 的 测试 差不多 也 可 
以 归 为 面 回 技 术 的 测试 ， 和 支持 编程 的 测试 并 非 对 立 ， 其 相反 性 不 明 
显 。 产 品 批判 性 的 测试 可 以 是 手工 测试 ， 也 可 以 是 自动 化 的 ， 包 括 上 自动 
生成 边界 值 、 异 种 值 来 进行 测试 ， 或 采用 模糊 测试 、 变 卉 测试 等 方法 来 
进行 测试 。 











这 4 个 方 回 与 敏捷 关系 不 大 ， 没 有 体现 敏捷 的 价值 观 、 敏 捷 测 试 的 
原则 ， 甚 至 没有 体现 敏捷 测试 的 思维 方式 。 在 传统 软件 测试 中 ， 也 需要 
考虑 面向 业务 、 面 向 技术 的 测试 。 之 前 ， 我 们 就 常 说 ， 测 试 人 员 是 技术 
人 员 中 业务 最 好 的 ， 与 业务 人 员 相 比 ， 技 术 又 强 很 多 ， 即 测试 人 员 既 要 
懂 业 务 ， 又 要 慌 技 术 ， 这 样 才 能 做 好 测试 。 而 且 ， 测 试 人 员 既 要 做 正 向 





的 验证 ， 又 要 做 反 辐 的 异常 测试 。 所 有 这 些 都 说 明 传 统 测试 也 基本 体现 
了 这 4 个 方 问 。 


到 里 斯 平和 格雷 苞 里 的 敏捷 测试 四 象限 在 图 2-10 的 基础 上 增加 了 不 
少 内 容 ， 包 括 特 别 注 明 自动 化 (automated) 、 手 工 (manual) 、 工 具 
(tools 等 。 但 是 ， 图 2-9 更 不 像 敏 捷 测 试 四 和 象限， 而 是 自动 化 测试 策 
略 ， 否 则 会 有 下 列 不 少 看 法 或 质疑 。 








不 为 业务 服务 的 测试 都 是 错误 的 ， 测 试 需要 面 问 业务 ， 不 能 面 癌 技 
术 。 


为 什么 单元 测试 是 支持 团队 ， 而 性 能 测试 就 不 是 支持 团队 呢 ? 





为 什么 功能 测试 和 用 户 故 事 测 试 是 支持 团队 ， 而 探索 式 测试 就 不 是 
呢 ? 


性 能 测试 /安全 测试 是 评价 产品 ， 而 功能 测试 为 什么 不 是 评价 产品 
呢 ? 


实例 化 、 原 型 和 仿真 有 验证 的 作用 ， 但 更 多 时 候 不 是 为 了 测试 ， 而 
征 为 了 沟通 ， 证 清 用 户 的 真实 需求 。 





2.5.2 ”新 的 敏捷 测试 四 象限 简介 


看 到 上 述 问 题 ， 笔 者 只 好 重新 设计 一 个 真正 的 敏捷 测试 四 象限 ， 如 
图 2-11 所 示 。 虽 然 可 以 理解 为 是 对 图 2-9 进 行 修改 的 结果 ， 但 是 绝 大 部 分 


都 已 修改 了 ， 完 全 可 以 说 是 一 个 魏 新 的 敏捷 测试 四 象限 。 
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图 2-11 新 的 敏捷 测试 四 象限 


不 能 搬 述 为 “面向 业务 或 技术 ， 因 此 图 2-11 的 垂直 方向 改 为 “业务 层 
次 ”和 "技术 层次 ”， 即 从 不 同 的 层次 来 进行 测试 ， 但 都 是 为 了 业务 。 把 
原来 元 边 的 “ 文 持 团 队 ? 改 为 "驱动 构建 质量 "， 正 如 前 面谈 到 的 敏捷 质量 
管理 思维 认为 “预防 缺陷 ? 比 “ 发 现 缺 陷 ? 更 有 价值 ， 即 在 敏捷 测试 中 ， 我 
们 如 何 驱 动 团队 构建 出 高 质量 的 产品 比 软件 测试 本 号 更 有 价值 。 


基于 这 样 修改 的 结果 ， 形 成 新 的 敏捷 测试 四 象限 ， 基于 业务 层 构建 
产品 质量 、 基 于 技术 层 构建 产品 质量 、 基 于 技术 层 评 价 产品 质量 和 基于 
业务 层 评价 产品 质量 。 新 的 敏捷 测试 四 象限 的 顺序 和 图 2-9 中 也 不 一 样 
了 ， 之 前 是 顺 时 针 ， 现 在 是 逆 时 针 : 业务 驱动 测试 ， 业 务必 须 在 前 ， 然 
后 收集 用 户 反 馈 并 进行 分 析 ， 再 到 需求 中 ， 形 成 闭环 ， 这 样 更 科学 、 合 
Hs 











1) Q1: 基于 业务 层 构建 产品 质量 ， 业 务 驱动 测试 ， 即 包括 验收 测 
试 驱动 开发 (ATDD) 和 行为 驱动 开发 (BDD) 、 实 例 化 需求 和 测试 驱 
动 设计 等 ， 不 仅 洪 清 和 验证 需求 与 设计 ， 更 重要 的 是 构建 高 质量 的 需求 
与 设计 ， 这 更 有 价值 。 








2) Q2: 基于 技术 层 构建 产品 质量 ， 侧 重 持续 集成 /持续 交付 技术 和 
环境 的 文 持 ， 实 现 单 元 测试 驱动 开发 (unit test-driven development， 
UTDD) ， 以 及 民 好 的 自动 化 单元 测试 ， 代 码 的 静态 分 机 和 基于 持续 集 
成 的 代码 评审 流程 ， 全 自动 且 流 水 线 式 的 持续 集成 测试 (BVT)〉 等， 以 
构建 高 质量 的 代码 。 














3) Q3: 基于 技术 层 评 价 产 品质 量 ， 基 于 工具 的 功能 、 性 能 、 安 全 
性 和 可 靠 性 等 建 模 、 评 佑 、 监 控 与 分 析 ， 这 也 依赖 于 技术 和 DevOps 的 
测试 基础 设施 ， 不 但 能 开展 全 生命 周期 的 、 持 续 的 系统 测试 ， 而 且 可 以 
开展 在 线 监控 与 分 析 ， 包 括 性 能 、 安 全 性 的 监控 与 分 析 ， 还 有 A/B 测 
试 ， 即 前 面 说 的 测试 右 移 ， 这 部 分 也 充分 体现 了 技术 性 。 

4) Q4: 基于 业务 层 评价 产品 质量 ， 包 括 探索 式 汕 试 、 众 测 和 迭代 
评审 等 。 迭 代 评 审 也 就 是 产品 利益 相关 者 一 起 来 评审 产品 ， 真 正 从 业务 
角度 来 评估 产品 的 质量 ， 这 些 实践 也 符合 敏捷 测试 的 原则 和 思维 方式 。 





从 上 文 来 看 ， 新 的 敏捷 测试 四 象限 也 反映 了 整个 敏捷 中 的 自动 化 测 
试 朱 略 ， 基 于 技术 层 的 测试 ， 可 以 进行 更 彻 原 的 上 自动 化 测试 ， 而 基于 业 
务 层 的 测试 ， 更 需要 友 挥 人 的 创造 性 、 思 维 能 力 。 如 果 更 理想 的 话 ， 那 
么 可 以 实现 整个 闭环 的 目 动 化 测试 ， 包 括 让 需求 可 执行 BDD/ 实 例 化 





需求 ) 、 基 于 人 工 智能 (artificial intelligence，AI) 的 众 测 和 探索 式 测 
J 


能 
试 等 ， 后 面 会 详细 介绍 。 
本 半 小 结 


敏捷 测试 是 敏捷 开发 模式 下 的 一 套 完整 的 软件 测试 解决 方案 ， 它 强 
调 “ 与 开发 人 员 协 作 ”“ 自 动 化 测试 “客户 思维 ”动态 的 测试 策略 调整 ”。 
掌握 敏捷 测试 其 实 很 简单 ， 只 要 你 能 读 懂 敏 捷 测 试 所 坚持 的 变 与 不 变 : 
不 变 的 是 它 的 价值 观 、 理 念 及 思维 方式 ， 变 的 是 持续 改进 的 敏捷 测试 的 
方法 、 拉 术 和 工具 。 在 敏捷 开 友 模式 下 ， 研 发 团队 需要 充分 理解 敏捷 测 
试 ， 然 后 按照 敏捷 品 维 方式 来 重 构 团队 的 技能 、 工 具 和 工作 流程 ， 才 能 
避免 让 测试 成 为 敏捷 交付 的 瓶 肛 。 


敏捷 测试 与 传统 测试 最 大 的 不 同 是 在 测试 原则 和 测试 思维 方式 上 ， 
传统 测试 是 固定 思维 ,敏捷 测试 既是 成 长 性 思维 ， 叉 是 团队 对 质量 负责 
的 思维 、 上 下 文 驱动 的 思维 和 用 户 思 维 。 








敏捷 测试 流程 不 是 针对 测试 人 员 制 定 的 流程 ， 而 是 针对 整个 研发 团 
队 制 定 的 各 项 测评 活动， 它 不 但 贯穿 于 整个 欠 代 开发 过 程 中 ， 而 且 会 持 
续 优 化 和 调整 。 在 敏捷 测试 流程 中 ， 需 要 重点 关注 “持续 测试 "， 这 是 持 
续 交 付 中 非常 重要 的 一 环 ， 需 要 一 系列 测试 策略 、 测 试 计划 和 测试 技 
术 ， 尤 其 是 通过 团队 协作 来 保证 其 顺利 实施 。 但 最 重要 的 当然 还 是 基于 
对 敏捷 测试 正确 和 深入 的 理解 ， 以 及 敏捷 思维 的 塑造 ， 这 也 古本 章 的 精 
髓 所 在 : 用 “ 道 ” 来 指导 对 后 面 要 讲解 的 “ 术 ” 的 理解 和 掌握 。 





延伸 阅读 


有 人 认为 :“ 人 与 人 之 间 在 能 力 上 没有 太 大 的 区 别 ， 最 大 的 区 别 是 
思维 方式 的 不 同 。” 既 然 成 长 性 思维 、 系 统 性 思维 、 批 判 性 思维 和 创造 
性 思维 等 对 一 个 测试 人 员 如 此 重要 ， 那 么 这 里 向 大 家 推荐 儿 本 思维 方面 
I 见 参 ee 

会 提问 》 和 《终身 成 长 : 重新 定义 成 功 的 思维 模式 》。 通 过 系统 的 
a 思维 方式 可 以 改变 ， eg 这 
不 仅 对 测试 工作 有 帮助 ， WA 益 。 在 
此 ， 笔 者 再 次 强调 持续 学 习 、 终 身 学 习 ， 在 学 习 过 程 中 要 车 于 反思 和 总 
结 ， 这 样 一 定 会 成 长 得 更 快 ， 事 业 更 成 功 。 
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3.1.1 问题 的 提出 及 各 方 的 理由 

















3.1 敏捷 团队 究竟 要 不 要 专职 的 测试 人 员 






3.1.2 根据 上 下 文 来 确定 是 否 需 要 
3.1.3 存在 即 合理 








3.2.1 Etsy 公 司 的 优秀 实践 

3.2.2 敏捷 测试 人 员 的 责任 和 具体 任务 
3.2.3 测试 人 员 和 开发 人 员 的 分 工 
3.2.4 测试 敏捷 化 对 团队 意味 着 什么 


3.2 配备 专职 敏捷 测试 人 员 时 的 操作 











3.3.1 是 否 借助 灰 度 发 布 和 一 键 回 滚 
3.3.2 消除 系统 测试 不 足 带 来 的 影响 
3.3.3 加 强 敏 捷 验 收 测试 和 ATDD 的 实践 
3.3.4 应 对 其 他 挑战 














3.3 没有 专职 的 测试 人 员 时 的 操作 















3.4.1 冰冻 三 尺 并 非 一 日 之 寒 








ee 3.4.2 多 数 团队 不 是 谷歌 
3.4 借助 测试 负责 人 角色 完成 团队 转型 《3 .4 3 测试 负责 人 角色 的 责任 和 具体 实践 
3.4.4 测试 主 负责 人 角色 
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3.5.1 达成 质量 共识 





3.5.2 营造 良好 的 质量 文化 氛围 
可 列 质 量 意识 的 学 习 型 团 
3.5 如 何 创建 有 强烈 质量 意识 的 学 习 型 团队 3.5.3 创建 学 习 型 团队 


3.5.4 业务 学 习 与 缺陷 根 因 
















3.6.1 系统 性 思维 训练 
3.6.2 创造 性 思维 训练 
3.6.3 如 何 提升 测试 白 动 化 能 力 
3.6.4 如 何 学 习 测试 建 模 

3.6.5 借 力 提升 自己 









3.6 如何 更 杂 地 为 测试 而 学 








3.7.1 团队 协作 的 五 大 障碍 
团队 协作 高 于 一 切 
3.7.3 达成 对 质量 及 其 管理 的 共识 
3.7.4 沟通 的 技巧 








3.7 如 何 与 产品 、 开 发 等 角色 协作 









相 比 传统 测试 ， 敏 捷 测 试 不 但 涉及 技术 和 方法 的 改变 ， 而 且 包 括 组 
构 的 变化 、 团 队 成 员 的 转型 、 人 员 思 维 方 式 的 改变 等 科 人 相关 的 深 
层次 的 东西 ， 如 整个 团队 要 为 质量 负责 ， 全 员 参 与 到 测试 活动 中 ， 财 队 
中 只 保留 少量 的 专职 的 测试 人 员 ， 整 个 团队 都 要 在 技能 和 认 知 上 做 出 提 
升 等 。 相 比 技术 转型 ， 这 些 更 难 改变 ， 但 只 有 成 功 地 解决 了 这 些 和 人 有 
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关 的 问题 ， 才 能 真正 实施 好 敏捷 测试 。 





3.1 敏捷 团队 完 苋 要 不 要 专职 的 测试 人 员 


随 看 Facebook 和 谷歌 在 商业 上 取得 巨大 成 功 ， 它 们 的 开 友 模式 引起 
了 广泛 讨论 ， 并 且 和 敏捷 挂 上 了 钩 ， 同 时 引起 了 “敏捷 团队 需 不 需要 专 
只 的 测试 人 员 ” 这 样 的 争论 。 人 的 问题 是 最 关键 的 问题 ， 因 此 我 们 有 必 


要 在 这 里 讨论 一 下 。 








首先 要 澄清 的 是 ， 这 里 要 讨论 的 是 “ 需 不 需要 保留 专门 做 测试 〈 测 
试 计 划 、 测 斌 分析 、 测 试 设计 和 测试 执行 ) 的 人 ”， 与 头衔 无 关 ， 因 为 
笔者 知道 现在 很 多 公司 的 开发 人 员 和 测试 人 员 都 称 为 “软件 工程 师 ”， 但 
有 一 部 分 就 是 专职 做 测试 工作 的 ， 还 有 一 些 公 司 有 质量 保证 (quality 
assurance，QA) 这 个 角色 ， 但 做 的 其 实 就 是 测试 的 工作 。 


3.1.1 问题 的 提出 及 各 方 的 理由 
对 于 这 个 问题 ， 很 多 人 认为 仍然 需要 专职 的 测试 人 员 ， 也 有 很 多 人 


认为 不 再 需要 。 对 于 这 两 种 不 同 的 观点 ， 在 敏捷 和 DevOps 实 践 中 ， 也 
都 能 找 出 文 持 各 目 观 点 的 成 功 案例 。 





1) Etsy 公 司 在 2009 年 开始 引入 DevOps， 建 立 了 持续 交付 的 全 自动 
化 部 署 管道 ， 这 家 公司 有 专职 的 质量 保证 团队 和 质量 保证 人 员 ， 而 且 承 
担 具 体 的 测试 工作 。 


2) 微软 和 Facebook 只 在 某 些 业务 线 保留 了 少量 的 专职 的 测试 人 
员 ， 多 数 业务 线 则 根本 没有 专职 的 测试 人 员 ， 测 斌 团队 更 不 存在 。 谷 歌 
则 把 测试 团队 改造 为 工程 效能 (engineering productivity) 团队 ， 这 个 团 
队 不 负责 有 具体 的 产品 测试 ， 而 是 为 开 及 人 员 提 供 测试 ， 以 及 其 他 提高 研 
发 效能 的 工具 和 技术 。 





看 起 来 似乎 要 形成 两 大 阵营 。 那 么 ， 软 件 测试 行业 一 些 大 师 级 人 物 
的 观点 如 何 呢 ? 


芯 伦 : 佩 奇 和 布 伦 特 : 詹 森 提出 了 现代 测试 的 新 七 大 原则 (modern 
testing principle) ， 如 图 3-1 所 示 。 这 七 大 原则 指出 ， 测 试 人 员 的 责任 是 
指导 团队 建立 更 成 熟 的 质量 文化 ， 专 职 的 测试 人 员 将 会 减少 甚至 消失 。 
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以 推进 业务 ”为 团队 提速 , 通 ”测试 人 员 是 团 ”深刻 关切 团队 ” 相信 只 有 用 户 ”通过 各 种 数据 ”把 测试 技术 和 
为 先 过 精益 思想 和 约 。 队 持 续 改 进 的 。 的 质量 文化 ， ”才能 够 判断 或 。 深入 理解 用 户 。” 能 力 推广 到 整 














束 理论 等 模型 来 力量， 帮助 团 指导、 引领 并 。 评估 产品 质量 使 用 场景 ,在 个 团队 ， 并 认 
帮助 识别 、 优 化 ， 队 通 过 不 断 优 。 培养 团队 建立 此 基础 上 减 小 同 团队 会 逐渐 
并 从 系统 中 移 除 。 化 和 调整 以 走 ”更 成 熟 的 质量 产品 在 预期 和 。 减少 或 取 江 
向 成 功 文化 实际 业务 表现 职 的 测试 人 员 
之 间 的 差异 
图 3-1 现代 测试 的 新 七 大 原则 
1) 以 推进 业务 为 先 。 
2) 为 团队 提速 ， 通 过 精益 思想 和 约束 理论 等 模型 来 帮助 识别 、 优 


化 ， 并 从 系统 中 移 除 瓶颈 。 


3) 测试 人 员 是 团队 持续 改进 的 力量 ， 帮 助 团队 通过 不 断 优 化 和 调 
整 以 走 疝 成 功 ， 而 不 是 充当 安全 防护 网 来 捕获 错误 。 





4) 深刻 关切 团队 的 质量 文化 ， 指 导 、 引 领 并 培养 团队 建立 更 成 玖 
的 质量 文化 。 








5) 相信 只 有 用 户 才能 够 判断 或 评估 产品 质量 。 


通过 各 种 数据 深入 理解 用 户 使 用 场景 ， 在 此 基础 上 减 小 产品 在 
预期 和 实际 业务 表现 之 间 的 差 腊 。 


7) 把 测试 技术 和 能 力 推广 到 整个 团队 ， 并 认同 团队 会 逐渐 减少 或 
取消 专职 的 测试 人 员 。 


而 克 里 斯 平 虽然 也 认同 敏捷 团队 中 专职 的 测试 人 员 可 以 减少 ， 但 是 
至 少 要 保留 一 位 测试 专家 做 一 些 专业 性 强 的 测试 ， 因 为 开发 人 员 思 考 问 
题 的 角度 和 测试 人 员 是 不 同 的 ， 不 能 把 所 有 的 测试 工作 都 分 配给 开发 人 
员 来 做 。 通 过 她 给 出 的 例子 可 以 判断 ， 她 认为 开发 人 员 和 专职 的 测试 人 
员 的 比例 为 10 : 1 比较 合适 








此 外 ， 国 内 也 有 很 多 关于 这 个 问题 的 讨论 文章 ， 大 多 数 是 根据 上 自己 
的 切 喘 体会 表示 赞同 或 反对 。 笔 者 收集 了 这 些 观点 和 意见 ， 并 进行 了 总 


| 
结 


对 于 “不 需要 专职 的 测试 人 员 ” 这 个 观点 ， 赞 成 理由 大 概 有 以 下 几 
后 。 


。 质量 不 等 于 测试 ， 质 量 是 内 建 的， 不 是 汕 试 出 来 的 ， 开 发 人 员 应 该 
对 目 己 的 代码 质量 负责 。 


我 们 不 需要 不 懂 软 件 开发 的 手工 测试 人 员 ， 因 为 不 懂 开 发 就 做 不 好 
测试 。 


测试 和 开发 分 开会 造成 工作 效能 的 低下 ， 开 发 人 员 上 自行 做 相应 的 测 
试 会 提高 效率 。 





很 多 成 功 的 产品 出 自 没 有 测试 人 员 或 拥有 很 少 测试 人 员 的 团队 。 


目 动 化 程度 低 的 工作 就 是 体力 开动 ， 开 及 人 员 很 快 就 能 掌握 测试 用 
例 设 计 的 技能 


而 反方 的 理由 大 致 如 下 。 


要 测试 领域 的 专家 ， 一 个 人 不 可 能 什么 部 会 做 。 


开发 人 员 做 测试 时 有 思维 障碍 和 心理 障碍 ， 做 不 好 测试 。 


开发 人 员 报 酬 较 蜗 ， 让 开发 人 员 做 测试 工作 ， 公 司 会 增加 成 本 。 


存在 即 合理 。 例 如 ， 医 生 也 可 以 做 护士 的 工作 ， 但 为 什么 医院 还 需 
要 那么 多 护士 ? 


企业 级 软件 一 般 很 庞大 、 复 杂 ， 功 能 、 业 务 逻 辑 太 多 ， 而 每 个 开发 
人 员 做 出 的 组 件 、 模 块 等 比较 小 和 * 乱 ?， 缺 乏 业务 视野 的 广度 和 深 
度 。 





3.1.2 ”根据 上 下 文 来 确定 是 否 需 要 


对 于 “人 敏捷 团队 完 竟 要 不 要 专职 的 测试 人 员 ” 这 个 问题 ， 不 能 简单 地 
回答 “要 ?或 “不 要 ”， 人 否则 会 落 入 问题 的 陷阱 。 例 如 ， 在 结构 化 测试 方法 
中 ， 是 判定 履 盖 强 还 是 条 件 更 症 强 这 个 问题 ， 笔 者 的 一 些 学生 会 认 
为 “条 件 窗 冀 强 ”， 但 也 有 的 学 生 回 答 “ 判 定 窗 盖 强 "”。 这 样 问 其 实 很 容易 
让 人 上 当 ， 或 者 说 ， 不 应 该 这 样 问 。 


笔者 的 观点 : 要 基于 上 下 文 来 决定 要 不 要 专职 的 测试 人 员 ， 有 基体 
情况 ， 有 具体 分 析 。 


我 们 不 能 简单 认为 ， 手 机 App 之 类 的 应 用 都 不 再 要 专职 的 测试 人 
员 ， 电 信 、 银 行 、 航 天 /航空 、 医 疗 等 行业 应 用 系统 则 一 定 需要 专职 的 
测试 人 员 。 我 们 也 不 能 简单 认为 ， 团 队 优秀 、 人 员 素 质 好 ， 而 软件 产品 
本 号 质 量 要 求 又 不 局 ， 就 不 需要 专职 的 测试 人 员 。 











首先 ， 我 们 要 看 开发 人 员 愿 不 愿意 做 测试 ， 以 及 能 不 能 做 测试 。 如 
果 开 发 人 员 不 愿 做 测试 或 者 不 能 做 测试 ， 吏 需要 专职 的 测试 人 员 。 强 扎 
开发 人 员 做 测试 是 不 可 行 的 ， 即 使 这 样 做 ， 效 果 也 不 好 。 


其 次 ， 我 们 要 看 系统 是 不 是 关键 系统 。 有 些 系统 是 至 关 重 要 的 ， 不 
能 有 半点 闪失 。 关 键 业 务 系统 对 质量 风险 的 容忍 度 近 乎 于 零 ， 因 此 ， 即 
使 开发 人 员 素质 高 、 责 任 心 强 ， 也 可 以 做 测试 ， 一 般 还 是 需要 独立 专职 
的 测试 工程 师 ， 从 而 再 增加 一 道 防线 。 











最 后 ， 我 们 要 看 这 个 系统 是 不 是 要 部 车 到 客户 那里 。 如 果 是 ， 则 版 
本 更 新 很 困难 ， 出 了 问题 也 无 法 回 滚 ， 无 法 文 持 灰 度 发 布 ， 这 时 对 质量 
的 要 求 会 苛刻 很 多 ， 这 种 情况 下 一 般 也 需要 专职 的 测试 人 员 。 








因此 ， 对 于 要 不 要 专职 的 测试 人 员 ， 需 要 综合 考虑 下 列 主要 因 系 。 


a 


。 产品 运营 模式 是 面向 企业 还 是 面 癌 客户 ， 是 SaaS 模 式 还 是 传统 产品 
模式 。 














售 为 关键 业务 系统 ， 即 是 侣 是 至 关 重 要 的 系统 〈 如 金融 、 电 信 等 
wo 做 关 的 系统 (如 航空 、 航 天 和 核 工业 
等 领域 的 核心 系统 ) 。 








有 时 还 需要 考虑 系统 是 人 否 强 耦合 、 是 人 否 是 大 规模 的 复杂 系统 等 。 一 
般 来 次 ， 系 统 的 灰 合 度 越 高 ， 束 越 需要 专职 的 测试 人 员 来 保证 软件 
的 质量 





其 实 不 论 有 没有 专职 的 训 斌 人员， 都 不 违背 敏捷 价值 观 和 敏捷 原 
则 。 根 据 国际 敏捷 联盟 的 描述 ， 敏 捷 团 队 应 该 具备 软件 交付 所 需要 的 所 
有 能 力 ， 而 角色 和 责任 的 划分 与 团队 的 输出 结果 快速 交付 可 工作 的 软 
件 ) 相 比 并 不 重要 ， 开 发 人 员 可 以 做 测试 ， 业 务 分 析 师 或 领域 专家 可 以 
提出 关于 技术 实现 的 想法 。 同 样 ， 测 试 人 员 也 可 以 做 开发 或 需求 分 析 。 
在 敏捷 模式 下 ， 我 们 强调 的 是 整个 团队 对 可 交付 软件 的 质量 负责 ， 对 测 
试 负责 ， 强 调 团队 协作 ， 发 挥 团队 的 作用 。 当 团队 具有 很 强 的 敏捷 思维 
方式 和 相应 的 能 力 时 ， 可 以 考虑 逐渐 减少 专业 测试 人 员 数 量 。 





什么 情况 下 可 以 考虑 没有 专职 的 测试 人 员 呢 ? 


首先 ， 团 队 质 量 内 建 的 文化 已 经 形成 ， 敏 捷 测 试 思维 /价值 观 构 建 


完毕 ， 团 队 成 员 拥 有 很 强 的 技术 能 力 和 责任 感 。 


其 次 ， 软 件 运营 模式 是 SaaS 模 式 ， 可 以 通过 在 线 监控 、 在 线 测试 等 
手段 及 时 发 现 产 品 问题 ， 并 建立 了 灰 度 及 布 机 制 ， 能 做 到 快速 部 效 、 快 
速 回 深 。 





后 ， 产 品 不 属于 关键 的 业务 系统 。 


池 


应 该 说 ， 在 满足 了 上 述 3 个 条 件 的 情况 下 ， 团 队 可 以 考虑 没有 专职 
的 测试 人 员 ， 实 现 开 友和 测试 的 彻 哲 融合。 


3.1.3 ”存在 即 合理 
目前 ， 存 在 各 种 形式 的 团队 ， 包 括 传统 的 项 目 经 理 主导 的 研发 团 


队 、 互 联网 公司 的 产品 经 理 主导 的 团队 、 敏 捷 开 发 模式 的 自 组 织 团队 
等 ， 因 此 ， 软 件 测试 的 组 织 也 多 种 多 样 ， 大 概 有 下 列 4 种 情况 。 





1) 将 测试 外 包 给 第 3 方 公司 。 在 这 种 情况 下 ， 测 试 独立 性 最 强 ， 训 
试 人 员 和 开发 人 员 几 乎 没有 协作 ， 当 然 ， 实 施 敏捷 测试 的 难度 最 大 。 
2) 有 独立 的 测试 团队 ， 各 项 测试 任务 由 测试 团队 负责 ， 测 试 相对 


独 六 ,但 和 开发 人 员 合 作 密 切 。 如 果 是 Scrum 团 队 ， 那 么 成 员 来 自 不 同 
的 组 织 。 





3) 没有 独立 的 测试 团队 ， 开 发 团队 中 有 专职 的 测试 人 员 ， 为 外， 
还 有 测试 工作 的 负责 


4) 测试 和 开发 高 度 融 合 。 没 有 专职 的 测试 人 员 ， 只 有 软件 工程 
师 ， 只 是 在 不 同 的 事件 中 他 们 扮演 不 同 的 角色 ， 有 时 是 开发 人 员 ， 有 时 
古训 试 人 员 。 








建立 什么 样 的 组 织 取决 于 整个 开发 模式 ， 在 敏捷 的 特性 团队 中 不 应 
该 有 独立 的 测试 团队 ， 但 是 你 也 可 以 看 到 ， 有 的 公司 即使 有 独立 的 测试 
团队 ， 也 能 很 好 地 实践 敏捷 测试 。 队 测试 外 包 以 外 ， 其 他 3 种 形式 的 组 
织 都 可 以 开展 敏捷 测试 ， 都 可 以 建立 起 整个 研发 团队 对 质量 负责 的 文 
化 ， 让 开发 人 员 对 自己 代码 的 质量 负责 ， 参 与 更 多 的 测试 ， 并 在 此 基础 
上 实践 敏捷 测试 的 方法 、 工 具 和 技术 。 








3.2 配备 专职 敏捷 测试 人 员 时 的 操作 


即使 在 敏捷 团队 中 有 专职 的 测试 人 员 ， 这 些 测试 人 员 所 要 承担 的 员 
任 和 具体 任务 也 与 传统 测试 中 的 测试 人 员 有 很 大 不 同 。 让 我 们 先 来 看 一 
下 Etsy 公 司 QA 团 队 在 这 方面 的 优秀 实践 。 











3.2.1 Etsy 公 司 的 优秀 实践 


Etsy 公 司 创建 于 2005 年 ， 是 美国 的 一 家 电 商 平台 ， 以 手工 艺 品 买卖 
为 主要 特色 。 该 公司 在 初创 期 进行 了 开架 构 和 组 织 架 构 方面 的 探索 ， 直 
到 2008 年 ， 新 的 CTO 开 始 引 入 DevOps 和 社区 文化 。 经 过 几 年 的 打磨 ， 
Etsy 公 司 在 2014 年 于 英国 召开 的 QCon (全 球 软件 开发 ) 大 会 上 介绍 了 该 
公司 是 如 何 做 到 一 天 完成 50 次 线 上 部 署 的 (这 在 当时 已 经 很 了 不 起 





了 ) ， 可 以 说 一 战 成 名 。 


和 么 这 家 公司 是 如 何 做 到 的 呢 ? 


| 


该 公司 拥有 令 人 称道 的 工程 师 文化 : “代码 即 艺 挨 ”(code as 
craft) 。 该 公司 认为 工程 师 是 一 个 有 创造 力 的 群体 ， 辟 励 他 们 相互 之 间 
进行 交流 、 协 作 及 学 习 。 该 公司 定期 举办 技术 沙龙 ， 与 各 行业 的 专家 进 


行 交 流 。 








该 公司 还 建立 了 优秀 的 质量 内 建文 化 : 开发 阶段 的 测试 由 开发 人 员 
负责 。 通 过 一 键 式 部 普 管 道 ， 开 发 人 员 可 以 直接 部 署 代 码 到 生产 环境 
上 ， 但 在 部 署 前 需要 保证 自己 的 代码 是 稳定 的 。 在 该 公司 的 持续 集成 环 
境 里 ， 集 成 了 超过 30 个 自动 化 测试 集 。 男 外 ， 该 公司 采用 可 视 化 面板 量 
化 跟踪 自动 化 测试 的 代码 履 盖 率 。 











与 Facebook、 舍 歌 这 些 公司 的 实践 不 同 的 是 ，Etsy 公 司 拥有 独立 的 
质量 保证 团队 ， 其 为 所 有 项 目 提 供 测 试 服务 。 但 与 一 般 的 测试 团队 有 所 
不 同 ， 该 团队 并 不 承担 开发 阶段 的 测试 任务 ， 也 不 负 员 回归 测试 和 维护 
测试 用 例 这 样 的 工作 。 下 面 才 是 这 个 团队 要 做 的 事情 。 


针对 新 功能 和 新 产品 进行 探索 式 测试 、 集 成 测试 ， 以 及 跨 平 台 的 兼 
容 性 测试 。 


针对 移动 端的 发 布 进行 验证 测试 。 





验证 用 户 可 感知 的 改变 ， 就 是 针对 对 用 户 影响 大 的 功能 改动 开展 测 
ne 


该 质量 保证 团队 还 定义 了 自己 的 价值 观 ( 这 非常 难得 ) ， 一 共 包 括 
3 条 : 价值 驱动 、 目 标 赋 能 和 社区 文化 ， 如 图 3-2 所 示 。 





价值 驱动 目标 赋 能 社区 文化 








图 3-2 ” Etsy 公司 的 质量 保证 团队 的 价值 观 
笔者 对 此 的 解读 如 下 。 


价值 驱动 ， 就 是 做 质量 保证 团队 该 做 的 事 ， 不 为 测试 而 测试 ， 不 会 
为 了 获得 统计 数据 而 做 测试 。 





日 标 赋 能 ， 在 全 公司 范围 内 ， 以 业务 为 共同 目标 ， 维 护 共 同 的 质量 
文化 ， 业 务 驱 动 测 试 。 


社区 文化 : 喜 励 学 习 型 文化 ， 促 进 在 公司 范围 内 的 沟通 和 交流 ， 共 
同学 习 ， 共 同 进步 。 


从 企业 文化 、 价 值 观 ， 到 技术 、 工 作 流 程 、 基 础 设施 ，Etsy 公 司 建 
并 了 一 整套 行 之 有 效 的 敏捷 及 敏捷 测试 实践 方法 ， 确 实 值得 我 们 学 习 。 


3.2.2 ”敏捷 测试 人 员 的 贡 任 和 具体 任务 


对 照 Etsy 公 司 的 质量 保证 团队 ， 我 们 来 总 结 一 下 测试 人 员 在 敏捷 团 
队 中 需要 承担 的 责任 和 具体 任务 ， 主 要 有 以 下 4 扩 。 


1) 帮助 敏捷 团队 提升 质量 文化 ， 持 续 关 注 质 量 和 用 户 需 求 ， 持 续 
加 利益 相关 者 提供 质量 反馈 。 


用 户 需 求 是 软件 测试 非常 重要 的 上 下 文 之 一 ， 测 试 人 员 要 帮助 团队 
开发 出 客户 真正 需要 的 产品 ， 避 免 陷入 过 多 地 从 技术 方面 思考 问题 的 误 
区 。 不 知 读者 是 否 还 记得 微软 公司 曾经 在 Windows 8 中 去 挥 了 左下 和 角 
的 “开始 ”按钮 和 “开始 ? 沫 单 ， 很 多 用 户 因 此 找 不 到 关机 和 重 司 计算 机 的 
地 方 。 在 用 户 的 强烈 抗议 下 ， 微 软 公 司 最 终 还 是 恢复 了 大 家 平时 习惯 使 
用 的 “开始 ”菜单 。 这 束 是 从 技术 角 民 而 非 用 户 角 度 开 友 产品 的 一 个 失败 


案例 。 




















另外 ， 对 产品 的 质量 要 求 也 是 一 个 重要 的 测试 上 下 文 ， 测 试 人 员 不 
但 要 清楚 每 次 交付 的 质量 标准 是 什么 ， 而 且 要 清楚 每 次 迭代 相 比 上 一 次 
有 什么 变化 。 





在 具体 的 测试 任务 方面 ， 训 试 人 员 更 侧重 从 用 户 角度 对 产品 进行 质 
量 评估 ， 采 用 探索 陈 训 试 方式 执行 功能 交互 测试 和 贯穿 业务 流程 的 端 到 
端的 测试 ， 并 开展 易 用 性 、 兼 容 性 、 可 靠 性 和 安全 性 ， 以 及 性 能 等 方面 
的 专项 测试 。 





测试 人 员 可 以 不 参与 开发 阶段 的 测试 ， 但 需要 对 产品 的 每 一 迭代 版 
本 进行 验收 测试 。 例 如 ， 在 Zoom 公 司 ， 由 开发 人 员 完 成 新 功能 测试 ， 
回归 测试 则 由 专职 的 测试 人 员 来 做 ， 相 当 于 在 代码 冻结 后 进行 最 后 的 回 
归 测 试 一 验收 测试 。 








这 项 贡 任 对 应 的 具体 任务 包括 : 


获取 和 明确 用 户 的 质量 期 望 ; 


。 建立 合适 的 系统 测试 、 验 收 测试 的 质量 标准 ; 


。 《和 产品 负责 人 一 起 ) 完成 每 个 和 欠 代 的 验收 训 试 ; 


发 现 值 得 关注 的 测试 切入 把 ， 持 续 提 供 质 量 反 馈 ; 


进行 在 线 日 志 分 析 、 在 线 测 试 ; 


进行 拜访 客户 、 用 户 调 查 等 活动 。 


2) 制定 测试 计划 ， 指 导 团 队 使 用 合适 的 测试 技术 和 方法 ， 不 断 收 
集 反 馈 ， 改 进 、 推 广 测试 技术 和 方法 ， 积 累 软件 测试 实践 经 验 。 


敏捷 测试 人 员 负 员 为 团队 制定 测试 计划 。 在 敏捷 测试 中 ， 测 试 计划 
可 以 简短 ， 但 不 能 没有 ， 如 只 有 一 页 纸 ; 形式 可 以 很 灵活 ， 如 用 思维 导 
图 等 。 测 试 人 员 需 要 负责 癌 团 队 传授 测试 技术 和 经 验 ， 以 帮助 整个 团队 
持续 提高 测试 能 力 ， 如 指导 开 及 人 员 在 单元 测试 和 系统 测试 中 使 用 合适 
的 测试 技术 和 方法 。 对 于 需求 、 设 计 和 代码 评审 ， 需 要 全 体 成 员 参 与 ， 
并 且 收 集 反 饿 ， 持 续 改 进 。 





这 项 贡 任 对 应 的 具体 任务 包括 : 


。 制定 测试 计划 模板 、 风 险 列 表 (checklist〉 和 常见 的 测试 集 略 ; 


。 探索 新 的 测试 方法 ， 引 入 新 的 测试 技术 ; 


。 开发 更 有 效 的 测试 工具 ， 持 续 改进 自动 化 测试 ; 


。 通过 缺陷 根 因 (root cause) 分 析 获 得 避免 缺陷 的 信息 ， 并 通过 设立 
规则 和 实践 避免 缺陷 的 引入 。 


3) 帮助 团队 构建 自动 化 测试 基础 设施 ， 提 供 必 要 的 测试 工具 。 





这 项 工作 读者 应 该 比较 熟悉 了， 因为 很 多 公司 热衷 于 招聘 测试 开 友 
人 员 ， 其 主要 承担 的 就 是 这 项 工作 。 敏 捷 测 试 人 员 不 仪 为 团队 构建 自动 
化 测试 环境 ， 还 要 考虑 自动 化 测试 框架 与 持续 集成 环境 及 DevOps 工 具 
链 的 集成 。 





这 项 贡 任 对 应 的 具体 任务 包括 : 








。 推进 单元 测试 、 开 发 测试 ， 尽 量 将 测试 推 到 上 游 ， 


。 建立 持续 集成 框 娘 ， 以 及 基于 持续 集成 的 质量 控制 和 发 布 规则 ; 


。 创建 更 高 效 的 工具 ， 持 续 改进 自动 化 测试 。 


4) 需求 、 设 计 和 代码 的 可 测试 性 把 关 ， 包 括 需求 、 设 计 和 代码 的 
可 测试 性 检查 。 


可 测试 性 检查 是 敏捷 测试 人 员 的 一 项 重要 员 任 ， 而 且 要 从 需求 、 设 
计 开 始 抓 起 。 产 品 需 求 文档 过 于 简单 、 没 有 明确 的 验收 标准 、 软 件 设计 
没有 考虑 回 上 自 动 化 测试 提供 接口 ， 以 及 代码 的 结构 复杂 以 致 发 现 缺 陷 后 








很 难 快速 定位 问题 所 在 等 会 影响 软件 产品 的 可 测试 性 。 敏 捷 模 式 有 利于 
可 测试 性 的 提高 ， 因 为 开发 人 员 要 对 自己 的 代码 进行 测试 ， 在 代码 编写 
时 ， 需 要 考虑 可 测试 性 。 如 果 先 实现 单元 测试 代码 ， 再 开始 编写 代码 ， 
就 更 进一步 ， 也 就 是 实现 UTDD， 但 前 提 和 是 需求 的 验收 标准 是 完备 和 明 
确 的 。 在 敏捷 开发 模式 下 ， 对 文档 不 重视 ， 需 求 文档 和 设计 文档 潜在 的 
问题 就 比较 多 ， 测 试 人 员 需 要 在 测试 计划 中 考虑 静态 测试 ， 组 织 并 参加 
相应 的 评审 ， 与 团队 成 员 一 起 明确 用 户 故 事 的 验收 标准 ， 提 出 设计 和 代 
码 方面 的 可 测 性 需求 。 








这 项 责任 对 应 的 具体 任务 包括 : 
。 建 立 合适 的 系统 测试 、 验 收 测试 的 质量 标准 ; 
。 定 义 需求 评审 、 设 计 评 审 的 检查 表 ; 
。 持 续 推动 可 测试 性 的 提高 。 
3.2.3 测试 人 员 和 开发 人 员 的 分 工 
在 敏捷 团队 中 ， 测 试 人 员 和 开发 人 员 在 测试 方面 的 具体 分 工 参见 表 


3-1。 


表 3-1 敏捷 团队 中 的 测试 人 员 和 开发 人 员 的 分 工 


专职 的 测试 人 
员 要 做 的 事 








人 静态 测试 








每 次 欠 代 的 测试 


计划 包括 测试 策略 x V 


用 户 故 事 测试 (根据 用 户 故事 的 验 
收 标准 ) 


模块 内 部 的 测试 | 验收 测试 














回归 测试 








模块 之 间 的 交 | 集成 测试 《向 外 部 提供 的 APD 





系统 端 到 端的 测 | 性能、 安全 性 、 易 用 性 、 兼 容 性 和 
试 稳定 性 等 方面 的 系统 测试 


框架 、 工 (开发 


3.2.4 测试 敏捷 化 对 团队 意味 着 什么 
































在 讨论 了 敏捷 测试 人 员 的 职责 后 ， 我 们 再 来 讲 一 下 测试 敏捷 化 对 一 
个 测试 团队 意味 着 什 么 。 在 敏捷 模式 下 ， 独 立 的 测试 团队 可 以 取消 ， 测 
试 人 员 真 正 变 成 敏捷 团队 中 的 一 员 ， 这 样 更 有 利于 开发 和 测试 的 融合 。 





但 是 ， 我 们 也 要 考虑 具体 情况 ， 如 某 些 专项 测试 对 于 业务 系统 来 说 
OA 
如 ， 对 于 大 型 复杂 的 软件 系统 ， 对 性 能 和 安全 的 质量 要 求 很 高 ， 性 能 测 
er ie is 
方法 ， 由 专门 的 团队 来 负责 也 是 合理 的 。 








读者 可 能 会 担心 : 取消 测试 组 织 会 造成 测试 人 员 的 孤立 和 公司 对 质 
量 的 忽视 。 对 此 ， 企 业 可 以 建立 测试 社区 (test community) 这 种 虚拟 的 
组 织 形式 来 代 蔡 测试 团队 ， 通 过 定期 举办 活动 给 所有 员工 提供 一 个 交流 
质量 文化 和 测试 技术 的 平台 ， 这 样 有 利于 让 大 家 意识 到 质量 是 所 有 人 的 


事 。 不 少 公 司 有 类 似 的 实践 ， 如 Etsy 公 司 。 
3.3 ”没有 专职 的 测试 人 员 时 的 操作 


正如 前 面 所 说 ， 在 互联 网 业务 场景 下 ， 没 有 专职 的 测试 人 员 是 可 以 
实现 的 。 国 外 先进 的 互联 网 公司 已 经 在 落地 实施 ， 国 内 的 企业 走 得 没有 
这 么 快 ， 但 是 越 来 越 多 的 岗位 是 在 招聘 测试 开发 工程 师 、 测 试 架 构 师 和 
工程 效能 工程 师 ， 偶 问 测 试 工具 开发 、DevOps 工 具 开 及 ， 而 业务 测试 
工程 师 的 岗位 越 来 越 少 。 





在 没有 专职 的 测试 人 员 的 情况 下 ， 敏 捷 团 队 对 成 员 个 人 的 能 力 要 求 
更 高 ， 这 对 个 人 发 展 来 说 是 好 事 。 我 们 可 以 通过 下 面 这 个 比喻 进行 说 
明 。 





在 一 个 团队 里 ， 集 合 了 一 群 武 林 高 手 。 该 团队 需要 十 八 骨 武器 都 有 
人 会 用 ， 而 且 每 个 人 至 少 要 会 几 种 。 这 难 不 倒 这 群 高 手 ， 有 个 人 原来 会 
使 剑 ， 但 通过 训练 ， 他 也 能 用 刀 ， 甚 全 是 棍 。 虽 然 他 最 擅长 的 还 是 用 
剑 ， 但 需要 用 刀 的 时 候 ， 对 付 一 般 人 也 绰 红 有 余 。 他 没有 刀 和 剑 怎么 
办 ? 他 在 路 边 随 手 找 个 棍 ， 也 能 参与 战斗 。 之 后 ， 他 发 现 自己 的 剑术 更 
加 精进 ， 已 经 可 以 做 到 “一 剑 封 喉 ”。 











这 就 像 测试 人 员 掌 握 了 编程 能 力 ， 在 测试 方面 可 以 更 加 目 如 地 选择 
不 同 的 测试 技术 和 测试 工具 ， 而 开 友 人 员 通 过 参与 测试 ， 在 代码 开发 阶 
段 就 会 想到 如 何 避 免 缺 陷 的 产生 ， 将 质量 构建 在 产品 中 。 这 样 ， 测 试 自 
然 左 移 一 一 癌 前 移动 ， 加 强 需求 评审 、 设 计 评 审 和 代码 评审 ， 以 及 单元 














测试 等 ， 人 人 痢 是 测试 人 员 ， 这 反而 在 菜 些 方面 加 强 了 测试 ， 虽 然 专 业 
的 测试 能 力 可 能 被 弱化 。 男 外， 缺少 专业 的 测试 人 员 ， 以 及 流程 上 的 质 
量 保证 ， 人 们 会 从 技术 方面 来 进行 弥补 ， 甚 至 在 交付 模式 和 架构 上 通过 
创新 来 弥补 ， 如 灰 度 发布 、 一 键 回 滩 、 微 服务 架构 和 Serverless 模 式 等 。 


3.3.1 是 耕 信 助 灰 度 友 布 和 一 键 回 深 


没有 专职 的 测试 人 员 ， 不 等 于 软件 测试 工作 不 需要 有 人 做 ， 那 么 谁 
来 做 呢 ? 日 内 高 频 发 布 是 互联 网 行业 中 领先 企业 普 裔 的 及 布 模式 ， 不 少 
顶级 互联 网 公司 在 推行 “ 谁 开发 ， 谁 运 维 ” 或 者 “ 谁 构建 ， 谁 运 维 ”， 
Netflixz 和 亚马逊 公司 都 有 这 样 的 提 法 。 如 果 开 发 团队 想 把 新 代码 频 楷 部 
普 上 线 ， 那 么 必须 对 代码 变更 引起 的 故障 负责 。 这 就 会 倒 珊 研发 团队 重 
视 软件 质量 ， 从 而 倒 逼 开 发 人 员 做 测试 。 














但 高 频 发 布 也 不 可 避免 地 带 来 了 风险 ， 原 因 是 没有 足够 的 时 间 针 对 
代码 变更 进行 充分 测试 。 软 件 频繁 发 布 的 主要 目的 不 但 包括 发 布 新 的 功 
能 特性 ， 而 且 包括 修复 因 代 码 变 更 引起 的 线 上 人 缺陷。 对 线 上 问题 啊 应 速 
度 的 要 求 越 蜗 ， 留 给 测试 的 时 间 就 越 少 。 要 做 到 在 支持 高 频 肥 布 的 同时 
降低 发 布 的 风险 ， 就 需要 一 系列 技术 的 保证 。 




















灰 度 发 布 是 一 种 互联 网 软件 产品 新 版 本 的 发 布 策略 。 灰 度 发 布 将 发 
布 分 成 不 同 的 阶段 ， 每 个 阶段 的 用 户 数 量 逐 级 增加 。 例 如 ， 先 把 新 版 本 
发 布 给 1% 的 用 户 ， 这 时 称 为 金 丝 稚 发 布 〈canary release) 、 金 丝 雀 测 
试 。 如 有 果 没 出 现 什 么 问题 ， 融 逐渐 扩大 发 布 范围 ， 直 至 履 盖 所 有 的 用 











户 。 采 用 这 种 发 布 方式 的 目的 是 确保 线 上 系统 的 稳定 性 。 如 果 新 及 布 的 
版 本 出 现 缺陷 ， 就 可 以 在 开始 阶段 发 现 ， 此 时 可 以 配合 一 键 回 滚 机 制 ， 

将 软件 回 深 到 上 一 个 稳定 的 版 本 ， 这 样 就 可 以 把 对 用 户 的 影响 降 至 最 

低 。 灰 度 发 布 有 两 种 实现 方式 : 一 种 是 开关 隔离 方式 ， 即 在 代码 中 为 新 
功能 设置 开关 ， 将 软件 的 新 版 本 部 著 到 生产 环境 中 的 所 有 节点 ， 通 过 代 
码 中 设置 的 开关 针对 不 同 范围 的 用 户 逐 渐 开放 新 功能 ， 一 旦 出 现 问 题 ， 
就 马上 关闭 开关 ， 下 线 新 功能 ， 另 一 种 是 通过 滚动 部 署 的 方式 ， 将 新 版 
本 部 署 到 生产 环境 中 的 一 部 分 节点 上 ， 当 确认 没有 风险 后 ， 再 逐渐 部 署 
到 更 多 的 节 反 上 。 














来 自 微 软 公 司 的 一 篇 论文 中 论述 了 关于 灰 度 发 布 的 理论 和 实践 ， 如 
图 3-3 所 示 ， 它 强调 应 该 伴随 在 软件 测试 方面 投入 的 不 断 增 加 来 不 断 扩 
大 发 布 范围 。 最 小 化 可 行 性 质量 (minimum viable quality，MVQ) 代表 
了 精益 测试 的 理念 ， 也 强调 针对 不 同 的 产品 发 布 范 围 制定 不 同 的 最 低 质 
量 标准 ， 在 每 个 范围 内 以 可 接受 的 质量 和 风险 尽快 发 布 产 品 。 





浪费 ， 过 度 的 自动 化 和 测试 ， 不 


可 能 的 测试 
可 能 的 测试 会 发 现任 何 有 价值 的 缺陷 








通过 丰富 的 监控 于 段 来 识别 已 经 
加 发 布 的 产品 中 遗留 的 严重 缺陷 
最 小 化 可 行 性 


儿 守 计生 | ”MVQ: 面向 所 有 用 户 发 布 新 的 版 
全 本， 得 仍然 采用 滚动 部 署 的 方式 ， 
在 发 布 之 后 需要 修复 少量 严重 缺陷 







测试 投入 增加 


_MVQ: 面向 部 分 用 户 ， 如 Beta 用 户 
以 及 产品 的 用 户 发 布 软件 版 本 





频繁 回 滚 ， 供 有 限 范围 内 的 用 户 
使 用 ， 用 户 反馈 非常 负面 


图 3-3 ”微软 公司 的 灰 度 发 布 理 论 及 实践 








灰 度 发 布 相当 于 通过 用 户 完成 验收 测试 。 一 旦 灰 度 发 布 过 程 中 出 现 
问题 ， 利 用 一 键 回 深 机 制 可 以 迅速 地 将 线 上 系统 恢复 到 上 一 个 稳定 的 版 
本 。 通 过 回 深 机 制 ， 可 以 在 发 布 系统 出 现 故 障 时 ， 保 证 系统 的 可 用 性 。 





但 是 软件 质量 绝对 不 能 完全 依靠 灰 度 发 布 和 一 键 回 滚 ， 无 论 是 灰 度 
发 布 、 回 滚 机 制 ， 还 是 后 边 我 们 要 讨论 的 线 上 监控 和 线 上 测试 等 测试 右 
移 的 手段 ， 都 是 在 版 本 上 线 后 的 措施 ， 不 能 代 将 在 研发 阶段 的 测试 活 
动 。 预 防 缺 陷 比 发 现 缺 陷 更 有 价值 ， 如 果 缺 陷 无 法 避免 ， 那 么 在 研发 阶 
段 尽 早 开始 测试 ， 尺 早 发 现 缺 陷 比 把 缺陷 币 到 线 上 ， 至 少 风险 更 小 ， 成 
本 更 低 。 


3.3.2 ”消除 系统 测试 不 足 带 来 的 影 啊 


在 敏捷 团队 中 ， 单 元 测试 本 来 融 应 该 开发 人 员 来 承担 ， 接 口 测 试 也 
可 以 由 开发 人 员 来 做 。 在 没有 专职 的 测试 人 员 的 情况 下 ， 团 队 就 好 好 规 
划一 下 ， 看 系统 测试 能 不 能 少 做 ， 多 做 单元 测试 和 接口 测试 ， 尽 量 把 系 
统 测 试 转化 为 单元 测试 和 接口 测试 。 


首先 ， 每 个 开发 人 员 需 要 切实 地 针对 自己 开发 的 代码 做 好 单元 测 
试 。 即 使 团队 中 有 专职 的 测试 人 员 ， 单 元 测试 也 必须 是 开 及 人 员 目 己 
做 ， 但 因为 团队 会 对 测试 人 员 进 行 质量 把 天 有 依赖 ， 所 以 好 多 团队 对 单 
元 汕 试 不 重视 ， 推 行 力度 不 够 。 如 有 果 没 有 测试 人 员 ， 谁 开发 代码 ， 谁 就 
需要 对 代码 质量 负责 ， 那 么 开发 人 员 是 不 是 更 能 认识 和 体会 到 单元 测试 
的 必要 性 ? 更 为 彻底 的 就 是 实践 TDD， 先 写 测 试 代码 ， 再 写 产 品 代码 ， 











用 测试 驱动 出 满足 质量 标准 的 代码 。 详 细 内 容 将 在 第 5 章 进行 讨论 。 


其 次 ， 在 系统 染 构 设计 时 尽量 做 到 “局 内 案 ， 低 看 合 "， 将 系统 架构 
彻 懈 解 厢 ， 最 好 是 采用 微服 务 风格 的 架构 模式 ， 这 样 每 个 团队 针对 蛙 个 
微服 务 就 可 以 进行 比较 充分 的 接口 测试 ， 从 而 进一步 降低 了 减少 系统 测 
试 带 来 的 质量 风险 。 因 为 单元 测试 和 接口 测试 都 适合 自动 化 测试 ， 而 且 
可 以 在 功能 开发 早期 就 持续 进行 测试 ， 所 以 在 测试 效率 上 也 会 有 显著 提 
升 。 











同时 ， 团 队 也 要 做 好 代码 评审 及 静态 代码 扫描 (静态 测试 ) ， 帮 助 
团队 尽早 友 现 软件 缺陷 ， 这 也 是 质量 内 建 的 一 部 分 。ThoughtWorks 公 司 
官方 公众 号 有 一 些 文章 介绍 了 关于 单元 测试 和 静态 测试 的 实践 : 在 
ThoughtWorks， 先 写 单元 测试 是 程序 员 的 基本 素养 ， 代 人 码 走 查 形式 多 
样 ， 但 成 熟 团队 一 般 从 蛙 元 测试 开始 。 敏 捷 开 发 对 回归 测试 考虑 不 多 ， 
质量 内 建 意味 着 不 名 望 最 后 依靠 测试 人 员 把 质量 天 。 这 说 明 单 元 测试 和 
静态 测试 做 好 了 ， 系 统 测 试 和 回归 测试 束 可 以 少 做 ， 甚 至 不 做 。 


























系统 级 别 的 测试 也 不 是 不 做 ， 但 采用 探索 式 测试 的 方式 更 有 效率 。 
团队 可 以 计划 并 组 织 团队 成 员 开 展 探 款式 测试 ， 定 期 组 织 缺 陷 大 扫除 
(bug bash) ， 并 设立 奖励 机 制 ， 奖 励 那 些 发 现 了 重大 缺陷 的 团队 成 


[| 
内 


从 


3.3.3 加强 敏捷 验收 测试 和 ATDD 的 实践 


敏捷 测试 中 的 验收 测试 主要 是 指 用 户 故 事 的 验收 测试 ， 因 为 敏捷 中 


的 需求 主要 表现 为 用 户 故 事 。 在 Scrum 模 式 下 ， 每 个 Scrum 团 队 的 产品 

负责 人 组 织 团队 成 员 一 起 进行 验收 测试 ， 在 每 次 欠 代 开始 时 ， 融 定义 好 
任务 完成 的 定义 (definition of done，DoD) ， 团 队 成 员 在 一 开始 就 知道 
本 次 迭代 的 验收 标准 是 什么 ， 并 通过 可 视 化 看 板 跟踪 进度 ， 如 单元 测试 
禾 盖 率 、 单 元 测试 通过 紊 、 代 码 审 查 结果 、 系 统 功能 测试 履 六 率 和 通过 
率 。 在 迭代 结束 时 ， 产 品 负责 人 组 织 大 家 按照 DoD 进 行 验收 。 做 好 敏捷 
开发 模式 下 的 验收 要 依赖 ATDD/BDD 等 实践 〈 详 细 内 容 参见 第 5 章 ) ， 

为 每 个 用 户 故 事 定义 验收 标准 ， 让 用 户 故 事 具 有 可 测试 性 ， 保 证 震 求 的 
正确 性 ， 保 证 团队 对 于 需求 的 一 致 理解 ， 这 样 验 收 测试 就 会 做 得 更 顺 

利 ， 效 率 更 高 。 








3.3.4 ”应 对 其 他 挑战 


除 上 面 讨论 的 措施 以 外 ， 在 取消 专职 的 测试 人 员 之 后 ， 团 队 依然 会 
面临 其 他 挑战 。 





首先 是 团队 成 员 测 试 能 力 的 培养 。 让 开发 人 员 做 测试 本 身 就 是 一 个 
挑战 ， 这 里 面 既 有 心理 因素 ， 又 有 技术 障碍 。 团 队 成 员 需 要 培养 测试 分 
析 和 计划 的 能 力 ， 站 到 端 系 统 测 试 的 测试 能 力 ， 以 及 利用 探索 式 测试 方 
式 的 能 力 等 ， 但 更 重要 的 还 是 对 业务 的 理解 和 测试 思维 的 培养 。 开 发 人 
员 往 往 只 对 目 己 负责 的 功能 模块 比较 熟悉 ， 缺 乏 对 产品 和 业务 的 整体 了 
解 。 不 了 解 产 品 和 业务 ， 束 不 知道 产品 的 用 户 是 谁 ， 不 能 够 很 好 地 设计 
和 挖掘 需要 测试 的 业务 场景 。 另 外 ， 软 件 开 发 需要 的 是 正 同 思 维 ， 让 软 
件 顺利 运行 ， 而 软件 测试 需要 的 是 逆 问 思维 和 批判 性 思维 等 ， 即 如 何 找 





到 软件 中 的 缺陷 。 


其 次 ， 性 能 测试 和 安全 测试 等 专项 测试 谁 来 负 贡 ? 虽然 在 生产 环境 
中 可 以 进行 全 链 路 压 测 ， 通 过 监控 平台 对 系统 进行 安全 监控 ， 但 这 还 不 
能 代 丛 研发 阶段 的 测试 。 在 持续 集成 环境 中 ， 进 行 代 码 漏洞 扫描 可 以 发 
现代 码 级 别 的 安全 漏洞 ， 但 安全 测试 还 包括 渗透 测试 。 训 试 环 境 中 的 性 
能 测试 还 是 有 必要 进行 ， 以 提前 发 现 性 能 问题 。 是 不 是 这 些 测试 还 是 需 
要 专门 的 测试 团队 来 负责 ?安全 测试 在 大 多 数 公 司 里 一 般 是 由 专业 的 团 
队 来 负责 ， 不 属于 敏捷 团队 的 主要 任务 ， 这 个 还 可 以 保留 。 对 于 性 能 测 
试 ， 可 以 考虑 借助 专业 、 成 熟 的 自动 化 测试 平台 让 性 能 测试 成 为 测试 平 
台 提 供 的 服务 ， 而 不 再 需要 专门 的 性 能 测试 人 员 。 当 然 ， 这 需要 比较 高 
的 自动 化 测试 成 熟 度 和 完善 的 测试 基础 设施 。 








再 次 ， 如 何 避 免 开 友 人 员 在 测试 环境 和 测试 数据 写 理 上 花费 大 量 时 
间 ? 原来 团队 里 的 测试 工程 师 不 但 要 负 员 测试 的 分 析 、 计 划 、 设 计 和 执 
行 等 工作 ， 而 且 会 伦 大 量 的 时 间 搭 建 并 维护 测试 环境 ， 创 建 测试 数据 。 
测试 工程 师 没 有 了 ， 让 开发 人 员 来 做 测试 相关 的 工作 可 能 还 不 如 专职 的 
测试 工程 师 效 率 高 ， 而 且 会 导致 开发 工程 师 不 能 专注 于 软件 开 及 工作 。 
这 个 问题 的 解决 思路 是 通过 搭建 自动 化 管理 的 测试 平台 并 且 与 持续 集 
成 /持续 交付 环境 集成 来 实现 测试 环境 的 自动 部 著 、 目 动 配置 和 自动 维 
护 ， 以 及 测试 数据 的 自动 生成 。 





























最 后 ， 自 动 化 工具 可 以 让 研发 效能 团队 来 负责 ， 但 自动 化 测试 的 脚 
本 开发 、 执 行 和 分 析 也 会 花费 工程 师 不 少时 间 ， 如 果 能 帮助 工程 师 把 这 
部 分 时 间 也 尽 可 能 节省 下 来 ， 那 么 开 及 和 测试 融合 将 会 更 加 顺利 和 彻 


底 。 因 此 ， 利 用 人 工 智 能 技术 实现 目 动 化 测试 的 无 代码 化 、 智 能 化 ， 通 
过 收集 各 种 数据 源 并 分 析 来 精准 选择 针对 变更 代码 的 测试 脚本 ， 既 可 以 
节省 从 代码 开发 到 发 布 的 时 间 ， 又 可 以 把 工程 师 从 繁重 的 汕 试 工作 中 解 
放出 来 。 


本 节 涉 及 很 多 和 敏捷 测试 相关 的 其 体 方法 、 技 术 的 实践 知识 ， 如 果 
读者 暂时 理解 不 了 ， 也 没有 关系 ， 当 阅读 完 本 书 全 部 内 容 后 ， 再 回 过 头 
来 看 看 这 一 市 的 内 容 ， 相 信 你 会 理解 得 更 加 深刻 和 全 和 面 。 没 有 专职 的 测 
试 人 员 本 来 就 相当 于 敏捷 测试 “集大成 ”的 境界 ， 其 不 但 代表 了 敏捷 训 试 
的 质量 文化 ， 而 且 代 表 了 各 种 敏捷 测试 方法 、 技 术 的 综合 运用 。 





3.4 信 助 测试 负责 人 角色 完成 团队 转型 





在 2016 年 的 一 天 ， 笔 者 磁 到 了 一 个 之 前 在 思科 的 老 同事 ， 问 他 现在 
软件 开发 采用 的 是 什么 模式 。 


他 回答 :“ 已 全 面 实施 敏捷 开发 模式 了 ， 有 些 团 队 没 有 调试 人 员 
了 ， 测 试 都 是 由 开发 人 员 上 自己 做 。” 





笔者 接着 问 ， 怎 么 知道 开发 人 员 测试 做 得 如 何 ， 以 及 效果 怎样 ? 


他 回答 ;:“ 这 个 不 知道 ， 我 们 相信 他 们 ， 他 们 也 承诺 对 自己 的 代码 


让 开发 做 更 多 的 测试 ， 没 错 ， 这 惑 是 我 们 常 说 的 测试 左 移 ， 但 还 是 
再 要 了 解 开 发 人 员 怎 么 做 测试 ， 以 及 能 不 能 达到 专业 的 测试 水 平 。 这 就 


要 像 谷 歌 那样 对 整个 研发 团队 的 测试 能 力 进 行 认证 。 但 是 ， 如 果 认 证 的 
结果 显示 整个 研发 团队 的 测试 能 力 比 较 低 ， 并 且 研 发 达 不 到 要 求 ， 那 么 
怎么 办 ? 


这 束 是 本 节 所 要 讨论 的 主题 ， 设 置 一 个 测试 负责 人 (test owner， 
TO) 角色 来 帮助 团队 提高 测试 能 力 ， 并 完成 过 渡 时 期 测试 质量 的 控制 
和 管理 工作 ， 包 括 承 担 测试 计划 的 制定 、 测 试用 例 的 评审 等 责任 。 


3.4.1 冰冻 三 尺 并 非 一 日 之 守 


为 什么 要 设置 这 样 一 个 角色 呢 ? 除 上 面 的 原因 之 外 ， 我 们 还 需要 一 
个 相对 比较 长 的 时 期 以 完成 从 传统 测试 加 敏捷 测试 的 平滑 过 渡 。 从 传统 
的 研发 团队 转型 成 敏捷 团队 ， 有 时 需要 很 长 的 时 间 ， 而 且 企 业 领导 必须 
下 决心 支持 团队 转型 ， 也 需要 请 教练 来 辅导 团队 如 何 上 基体 实施 新 的 开 友 
模式 。 


20 年 前 ， 笔 者 在 WebEx 公 司 参 加 软件 产品 研发 ， 那 时 产品 经 理 这 个 
角色 不 属于 研发 团队 ， 而 是 属于 产品 市 场 (product marketing) 部门 。 
这 个 部 门 和 研发 部 门 不 一 样 ， 更 像 财务 部 门 、 人 事 部 门 ， 直 接 归公 司 管 
理 ， 而 研发 部 门 〈《 包 括 开 发 人 员 、 测 试 人 员 、 项 目 经 理 等 ) 则 根据 具体 
的 业务 领域 分 为 独立 的 BU (business unit， 业 务 单元 ， 类 似 国内 事业 
部 ) 。 这 个 时 期 研 用 和 产品 之 间 的 那 堵 “ 增 ?比较 厚 ， 如 图 3-4 最 左边 所 
示 的 组 织 结构 ， 产 品 经 理 把 需求 从 “ 墙 ” 那 边 扔 到 研发 这 边 ， 研 发 部 门 接 
到 需求 ， 按 需求 进行 软件 的 设计 、 编 码 和 测试 。 











10 年 前 ， 情 况 有 所 好 转 ， 公 司 开始 往 敏 捷 开 发 模式 转型 。 以 Scrum 
为 例 ， 设 立 产 品 负责 人 和 角色， 产品 设计 人 员 和 开发 人 员 开 始 出 现在 一 个 
团队 ， 友 代 周期 也 从 之 前 的 半年 或 一 年 缩短 到 一 个 月 ， 甚 至 一 周 。 


最 近 几 年 ， 测 试 人 员 开 始 慢 慢 减少 ， 有 些 团队 干脆 没有 测试 人 员 ， 
让 开发 人 员 做 测试 ， 整 个 团队 对 测试 和 质量 负责 ， 这 个 出 发 点 是 对 的 ， 
也 特别 符合 敏捷 测试 的 思维 方式 。 但 不 能 急于 求 成 ， 就 像 上 面 把 “产品 
定义 和 设计 ” 移 到 研发 团队 内 部 时 ， 需 要 设置 产品 负 贡 人 和 角色。 因此 ， 
当 我 们 在 彻底 实现 从 传统 测试 问 敏捷 测试 转型 的 过 程 中 ， 也 需要 设置 测 
试 负责 人 角色 。 




















\，。 敏捷 开发 模式 

A 1 ( 有 专职 测试 人 员 ) 

RN - 

| 

传统 开发 

模式 | 

敏捷 开发 模式 
(无 专职 测试 人 员 ) 





图 3-4 ”研发 组 织 从 传统 向 敏捷 演化 “以 Scrum 为 例 ) 





概括 起 来 ， 从 传统 开发 模式 同 敏捷 模式 转型 ， 分 为 两 种 情况 ， 如 图 
3-4 石 侧 所 示 : 一 种 情况 是 将 测试 人 员 和 开发 人 员 等 整合 成 一 个 全 职能 
的 特性 团队 ， 保 留 专 职 的 测试 人 员 ， 其 中 设置 测试 负责 人 和 角色， 而 不 应 
该 设置 测试 经 理 角色 《敏捷 组 织 是 自我 管理 的 组 织 ) ， 会 议 召 集 或 清理 
障碍 等 管理 工作 可 以 由 Scrum Master 来 做 ; 另 一 种 情况 是 经 过 一 个 过 渡 





阶段 ， 再 彻底 实现 开发 与 汕 试 的 融合 ， 没 有 专职 的 测试 人 员 ， 都 称 为 软 
件 工程 师 。 


3.4.2 多 数 团队 不 是 谷歌 








当 我 们 推行 “质量 由 团队 负责 ”这 样 的 理念 时 ， 从 现实 来 看 ， 多 数 团 
队 的 软件 产品 质量 可 能 就 没有 人 负责， 也 许 只 有 极其 优秀 的 团队 没有 问 
题 。 当 国内 茶 个 团队 直接 照搬 谷歌 的 流程 和 实践 时 ， 有 人 就 曾 发 文 提 

: 你 的 公司 不 是 谷歌 ， en 你 的 公司 本 来 就 不 是 谷 
歌 。 因 此 ， 对 于 大 多 数 团 队 来 说 ， 测 试 还 是 需要 负责 人， 比较 切实 可 行 
的 实践 是 需要 设置 测试 负责 人 这 个 角色 ， on 测试 过 
程 和 测试 结果 负责 ， 但 不 对 质量 负责 。 











即使 在 多 数 情况 下 ， 也 还 认定 “质量 是 构建 出 来 的 ”。 如 有 果 需 要 有 人 
十 质量 负责 ， 也 可 以 设置 质量 负责 人 (guality owner，QO) 这 样 的 角 
色 ， 负 责 促进 优秀 质量 文化 的 形成 、 流 程 内 审 和 改进 ， 以 及 推行 全 过 程 
的 质量 管理 每 。 的 确 有 些 优秀 的 公司 (如 华为 公司 ) 还 保留 质量 保证 部 
门 和 质量 保证 角色 。 


泽 





其 实 ， 多 数 公司 没有 质量 保证 部 门 或 质量 保证 和 角色， 这 时 测试 人 员 
就 要 或 多 或 少 承担 质量 保证 的 部 分 呐 任 ， 这 也 就 是 为 什么 许多 美国 公司 
的 测试 工程 师 被 称 为 质量 保证 工程 师 ， 如 笔者 在 WebEx、 思 科 时 ， 头 衔 
征 质量 保证 经 理 、 质 量 保证 高 级 总 监 等 。 因 为 敏捷 测试 提倡 “预防 缺陷 
胜 于 发 现 缺陷 *， 所 以 质量 保证 主要 的 责任 就 是 通过 定义 好 的 流程 和 规 








范 等 来 预防 缺陷 ， 而 测试 的 主要 责任 则 是 发 现 缺 陷 。 只 是 平时 我 们 可 能 
不 太 注 重 区 分 质量 保证 和 测试 ， 有 时 会 说 , “敏捷 测试 提倡 : 预防 缺陷 
胜 于 发 现 缺陷 *， 其 实 应 该 这 样 资 一 一 “敏捷 质量 管理 提倡 : 预防 缺陷 胜 
于 发 现 缺陷 ”。 





3.4.3 测试 负责 人 角色 的 责任 和 具体 实践 


测试 负责 人 是 以 敏捷 中 比较 流行 的 Scrum 方 式 来 定义 的 ， 但 这 个 角 
色 也 可 以 称 为 测试 教练 (test coach，TC) 、 测 试 顾问 (test consultant， 
TC) 或 质量 保证 ， 称 呼 什么 不 重要 ， 重 要 的 是 这 个 角色 要 承担 哪些 贡 
任 。 


根据 前 面 的 讨论 ， 我 们 基本 清楚 了 这 个 角色 的 贡 任 。 


。 制定 软件 产品 研发 的 迭代 测试 计划 。 虽 然 是 一 个 简单 的 计划 ， 也 是 
一 个 动态 的 过 程 ， 但 计划 依旧 很 有 价值 ， 同 时 指导 这 个 达 代 的 测试 
过 程 。 因 此 ， 需 要 有 一 个 人 来 负责 起 草 计划 、 如 集 评审 会 等 ， 同 时 
负 贡 分 析 测 试 范 围 、 列 出 测试 项 、 定 义 优先 级 、 识 别 测试 风险 、 制 
定 测 试 倘 略 和 信 算 工作 量 等 工作 。 


协调 测试 计划 的 执行 ， 包 括 收集 团队 的 反馈 。 洞 肾 新 的 测试 风险 ， 
对 计划 进行 优化 或 调整 ， 协 调 测试 任务 或 测试 资源 等 。 


提高 软件 的 可 测试 性 。 参 与 前 期 的 需求 分 析 和 定义 验收 标准 ， 更 好 
地 保证 需求 、 设 计 、 代 码 等 的 可 测试 性 ， 可 能 的 话 ， 领 导 团 队 制 定 


测试 性 规范 或 实施 指南 。 











指导 团队 成 员 开 展 测 试 工作 。 指 导 工 作 不 局 限于 用 户 故事 的 验证 、 
系统 级 别 的 测试 ， 也 包括 单元 测试 、 集 成 测试 ; 不 局 限于 动态 测 

试 ， 还 包括 需求 评审 、 设 计 评 审 和 代码 评审 等 。 徊 团队 成 员 在 测试 
工作 中 有 疑问 和 困难 ， 则 可 以 向 这 个 角色 咨询 ， 以 得 到 他 的 帮助 。 





承担 部 分 质量 保证 责任 。 例 如 ， 领 导 团 队 制 定 评 审 流程 和 规范 ， 帮 
助 开 友人 员 消 除 不 规范 行为 ， 不 断 寻 求 机 会 以 提高 需求 、 设 计 、 代 
码 的 质量 和 可 复 用 性 ， 积 极 提 高 开发 人 员 的 质量 意识 ， 与 团队 一 起 
做 好 缺陷 跟 踩 、 缺 陷 分 析 和 缺陷 预防 等 工作 ， 在 整个 开发 周期 中 进 
行 质量 跟 躁 、 持 续 改进 质量 。 





其 他 责任 。 例 如 ， 指 导 团 队 进行 测试 基础 设施 、 自 动 化 测试 框架 等 
工作 ， 为 团队 提供 相应 的 内 部 测试 培训 以 帮助 团队 提高 整体 测试 技 
术 等 。 


既然 是 一 个 角色 ， 根 据 团 队 大 小 、 开 发 人 员 的 测试 能 力 和 其 他 实际 
情况 ， 测 试 负责 人 可 以 由 一 个 人 担任 ， 也 可 以 由 多 个 人 担任 。 为 外 ，2 
一 3 个 团队 可 以 共同 拥有 一 个 测试 负责 人 。 测 试 负责 人 角色 一 般 由 公司 
内 部 测试 专家 、 原 来 担任 过 测试 经 理 的 人 员 来 担任 比较 合适 ， 因 为 他 们 
熟悉 测试 流程 、 训 试 方法 ， 之 前 负 贡 过 训 试 项 目 或 项 目 中 训 试 的 部 分 ， 
制定 过 测试 计划 ， 管 理 过 测试 过 程 ， 也 管理 过 团队 ， 有 经 验 和 能 力 履 行 
上 述 测 试 负 员 人 的 员 任 。 如 果 没 有 测试 专家 、 测 试 经 理 ， 那 么 可 以 由 测 
试 染 构 师 或 资深 测试 工程 师 担 任 ， 如 果 团 队 规模 比较 大 ， 那 么 可 以 由 原 





来 的 测试 经 理 和 测试 架构 师 联合 担任 。 
3.4.4 测试 主 负 责 人 角色 


当 一 个 产品 线 上 有 多 个 同时 并 行 的 组 件 开 发 项 目 ， 或 者 一 个 系统 的 
开发 需要 多 个 子 系统 的 开发 并 行进 行 时 ， 就 是 我 们 通常 所 说 的 大 规模 系 
统 开发 ， 不 是 由 一 个 敏捷 团队 就 能 完成 的 ， 而 是 由 多 个 敏捷 团队 协作 完 
成 。 在 项 目 管理 中 ， 项 目 集 包 含 多 个 项 目 ， 每 个 项 目 有 一 个 项 目 经 理 ， 
而 一 个 项 目 集 有 一 个 程序 经 理 〈program manager) ， 程 序 经 理 和 众多 项 
目 经 理 合 作 ， 协 调 项 目的 优先 级 、 资 源 和 进度 等 。 








如 果 采 用 Scrum 开 发 模式 ， 则 在 整个 产品 线 或 一 个 系统 开发 中 ， 束 
有 多 个 Scrum Master， 为 了 协调 多 个 团队 的 进度 、 资 源 和 任务 ， 可 以 在 
Scrum Master 上 面 设 一 个 更 高 层 的 Scrum Master， 称 为 Scrum Master of 


Scrum Master。 


面 对 这 种 情况 ， 我 们 也 可 以 设置 测试 主 负 责 人 (master test owner， 
MIO) ， 如 图 3-5 所 示 。 之 前 类 似 这 种 情况 ， 测 试 负责 人 相当 于 测试 经 
理 ， 测 试 主 负 贡 人 就 相当 于 测试 总 监 ， 测 试 经 理 负 责 项 目测 试 计划 ， 测 
试 总 监 负 责 整 个 产品 线 或 系统 的 主 测试 计划 (master test plan) ， 只 是 
在 敏捷 中 ， 测 试 负责 人 、 测 试 主 负 责 人 没有 权利 ， 只 有 责任 ， 因 为 敏捷 
团队 是 自我 管理 、 自 组 织 团队 。 











CY CY D> Cy 


( 晤 人 人 
ee ay Ga Se 


图 3-5 ”大 规模 软件 敏捷 团队 的 构成 


道理 是 相通 的 ， 除 主 测试 计划 以 外 ， 测 试 主 负 贡 人 要 设法 协调 或 弥 
补 各 个 团队 之 间 的 分 歧 或 没有 罗 兰 的 空白 ， 而 且 需 要 指导 测试 负责 人 的 
工作 ， 帮 助 测试 负责 人 提高 测试 的 计划 和 管理 能 








3.5 ”如何 创 建 有 强烈 质量 意识 的 学 习 型 团队 


3.5.1 达成 质量 共识 


在 几 个 月 之 前 ， 笔 者 写 了 一 篇 名 为 《软件 测试 灵魂 三 问 》 的 文章 ， 
很 受 欢 迎 ， 有 9000 多 的 阅读 量 。 而 在 此 之 前 ， 笔 者 还 写 过 一 篇 名 为 《 质 
量 三 问 》 的 文章 ， 其 中 提 到 质量 是 什么 、 质 量 从 哪里 来 和 质量 到 哪里 去 
这 样 的 基本 问题 。 按 道理 来 次 ， 每 个 公司 都 应 该 回答 ， 企 业 中 的 每 个 团 
队 、 团 队 中 的 每 个 成 员 都 需要 思考 是 否认 同上 自己 所 在 的 公司 给 出 的 答 

。 如 果 不 认同 ， 怎 么 办 ?要 不 要 进一步 和 公司 管理 层 沟 通 ， 在 质量 认 











知 上 达成 共识 ? 





只 有 达成 质量 共识 ， 才 能 有 统一 的 目标 ， 最 终 驱 动 团 队 前 进 。 前 面 
ee 就 是 拥有 共同 的 目标 。 通 过 这 个 
日 标 赋 能 ， 维 护 共同 的 质量 文化 ， 业 务 驱 动 研发 ， 业 务 驱动 测试 。 




















那么 ， 完 苋 什么 是 质量 ea 上 度 。 客 户 越 满 意 ， 质 
量 越 高。 而 且 质量 还 可 以 度量 ， 如 通过 日 志 分 析 或 客户 满意 度 调查 获 
得 。 例 如 ， 阿 里 巴巴 的 质量 文化 就 是 “做 用 户 体 验 的 捍卫 者 ， 让 客户 百 
分 之 百 放 心 。 腾讯 也 有 类 似 的 文化 ， 强 调 以 用 户 为 本 ,一切 以 用 户 价 
值 为 依据 ， 将 社会 黄 任 融入 产品 及 服务 之 中 。 亚 马 逊 更 是 把 目 己 定位 
成 “地球 上 最 以 客户 为 中 心 的 公司 ”。 因 此 ， 成 功 的 公司 通常 重视 质量 
并 且 会 树立 展 好 的 质量 文化 。 

















3.5.2 ”营造 民 好 的 质量 文化 氛围 


达成 质量 共识 之 后 ， 接 下 来 就 是 如 何 营造 民 好 的 质量 文化 氛围 ， 通 
过 教育 、 培 训 等 各 种 活动 来 不 断 提升 对 质量 的 认 知 和 强化 质量 意识 。 下 
面 给 出 几 家 优秀 公司 的 案例 ， 供 大 家 借鉴 与 思考 。 


在 腾讯 公司 中 ， 有 个 团队 认定 : 质量 是 团队 章 严 的 起 点 ， 建 议 在 有 
条 件 的 情况 下 ， 每 周 从 客服 那里 提取 10 条 客户 投诉 的 录音 播放 ， 听 听 客 
户 的 误 吕 和 侮 厚 ， 感 受 一 下 内 心 撕 心 肌 肺 的 疼痛 和 郑 愧 ， 然 后 重新 建立 
草 严 并 踏 踏实 实 做 事 ， 时 时 刻 刻 聚焦 客户 ， 处 处 为 客户 体验 着 想 。 在 每 
一 次 提出 新 的 想法 或 问题 前 ， 团 队 每 个 人 都 要 反复 琢磨 分 机 ， 反 复评 审 





2000 年 ， 华 为 公司 总 裁 任正非 将 从 客户 那里 换 回 来 的 坏 设备 单 板 ， 
以 及 多 次 来 回 的 机 票 装 被 在 相框 里 ， 作 为 当年 那 次 质量 大 会 的 “奖品 ”， 
而 且 很 长 一 段 时 间 它 成 为 了 办 公 桌 上 最 重要 的 一 个 捍 设 ， 时 刻 提 醒 着 每 
一 位 当事人 。 








2007 年 4 月 ， 华 为 公司 70 多 名 中 高 级 管理 者 召开 了 质量 高 级 研讨 
会 ， 以 死 荔 士 比 “质量 四 项 基本 原则 ”《〈 质 量 定义 、 质 量 系统 、 工 作 标 准 
和 质量 衡量 ) 为 篮 本 确立 了 华为 的 质量 原则 。 会 后 ， 殉 苑 士 比 的 著作 
《质量 免费 》 在 华为 公司 大 卖 ， 主 管 把 它 当 做 礼品 送 给 下 属 。 











第 4 个 例子 来 自 笔 者 曾经 工作 过 的 思科 (Cisco〉 ， 每 个 员工 号 上 都 
会 带 着 一 个 卡 (badge〉， 上 面 印 着 思科 的 企业 文化 《Cisco culture) ， 
其 中 质量 团队 排 在 第 一 的 位 置 ， 而 且 所 有 的 文化 都 是 基于 “客户 成 


功 ”(customer success) 。 











3.5.3 ”创建 学 习 型 团队 


在 质量 文化 形成 的 过 程 中 ， 我 们 需要 把 整个 团队 包括 开发 和 测 
试 ) 转化 为 或 打造 成 学 习 型 团队 。 什 么 是 学 习 型 团队 呢 ? 


比较 标准 的 回答 是 : 通过 营造 弥漫 于 整个 组 织 的 学 习气 氛 、 充 分 发 
挥 员工 的 创造 性 思维 能 力 而 建立 起 来 的 一 种 有 机 的 、 高 度 冬 性 的 、 局 平 
的 、 能 持续 发 展 的 组 织 ; 整个 团队 成 员 不 断 突 破 目 己 的 能 力 上 限 ， 创 造 


真心 问 往 的 结果 ， 培 养 全 新 、 前 瞻 而 开阔 的 思考 方式 ， 全 力 实 现 共同 的 
抱负 。 


简单 的 回答 是 : 团队 成 员 拥 有 成 长 性 思维 ， 永 不 满足 现状 ， 不 断 反 
思 与 学 习 ， 精 荔 求 精 ， 持 续 改 进 的 团队 。 





对 于 传统 的 团队 ， 强 调 有 头脑 的 领导 、 新 型 战略 ， 而 敏捷 团队 则 强 
调 上 自我 管理 、 目 我 组 织 ， 享 受 充分 授权 、 面 对 面 沟 通 带 来 的 收益 ， 如 图 
3-6 所 示 。 
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图 3-6 “学习 型 敏捷 团队 


对 于 如 何 创建 学 习 型 团队 ， 这 里 推荐 阅读 《第 五 项 修炼 : 学 习 型 组 
织 的 艺术 与 实践 》【〔 后 续 之 作 有 《第 五 项 修炼 :实践 篇 : 创建 学 习 型 组 
织 的 战略 和 方法 》《 变 革 之 舞 》 等 ) 这 本 书 。 该 书 由 管理 大 师 彼 得 . 圣 
吉 在 1995 年 写成 ， 重 点 谈 到 了 新 思考 、 新 视野 和 5 项 核心 修炼 ， 其 中 前 4 
项 核心 修炼 如 下 。 


1) 目 我 超越 ， 侧 重 个 人 成 长 和 学 习 的 修炼 。 以 人 为 起 点 ， 塔 养 目 
己 系 统 思考 的 能 力 ， 不 断 厘 清 愿 景 与 现 况 ， 保 持 创 造 性 张力 ， 看 清 结构 
性 冲突 ， 城 实地 面 对 真 相 ， 不 断 对 准 焦 点 ， 运 用 潜 音 识 的 力量 打破 净 约 





关系 、 突 破 “ 自 我 超越 * 的 障碍 ， 从 而 实现 上 自己 的 职业 目标 和 人 生 的 愿 


与. 
用 No 


2) 心智 模式 ， 这 是 决定 我 们 对 世界 的 理解 方法 和 行为 方式 的 那些 
根深 和 送 固 的 假设 、 归 纳 ， 甚 至 是 图 像 、 男 面 或 形象 。 采 用 凝聚 团体 心智 
模式 ， 并 进行 修 炼 ， 如 行动 中 的 反思 技能 和 探寻 技能 〈 见 图 3-7) ， 识 
别 跳跃 性 推 师 ， 写 下 内 心 通常 不 会 说 的 话 ， 以 及 兼顾 探 询 与 辩护 等 。 
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图 3-7 反思 与 反馈 是 达成 团队 愿景 的 有 效 实践 











3) 共同 愿景 ， 是 明确 而 可 知 的 未 来 景象 ， 不 同 于 志 问 ， 它 回答 “我 
们 想 要 创造 什么 "这样 的 问题 。 出 目 真心 的 共同 愿景 是 学 习 实 践 的 焦点 
和 动力 来 源 ， 只 有 唤醒 了 你 的 真正 想 成 就 的 共同 愿景 ， 才 会 孕育 无 限 的 
创造 力 ， 学 会 聆听 ， 不 断 进步 。 





4) 团队 学 习 ， 是 现代 组 织 的 基本 学 习 形 式 。 ae 
正 、 塔 养 默 契 的 过 程 ， 是 开发 团队 能 力 和 集体 智慧 的 过 程 。 通 过 团队 学 
ee 


Cdialogue， 又 称 深 度 会 谈 ) 和 商讨 等 不 同 的 交流 艺术 实践 来 修炼 ， 并 
善 用 冲突 、 消 灭 组 织 中 的 隐形 增 等 提升 团队 的 学 习 能 力 。 





而 第 5 项 修炼 束 是 系统 性 思考 ， 从 而 能 看 清 行为 背后 的 结构 模式 ， 
关注 反馈 (这 与 敏捷 中 “通过 快速 迭代 及 时 获得 客户 反馈 ”是 相通 的 》， 


[页 


从 而 能 够 辨识 动态 系统 整体 运作 的 微妙 特性 。 构 建 学 习 型 组 织 是 一 个 系 


2NAAXE 
统 过程 ， 如 图 3-8 所 示 ， 除 上 文 提 及 的 5 项 修炼 ， 还 包括 外 围 的 变 昔 管 
理 、 复 如 过 程 管理 、 组 织 转型 、 文 化 更 新 和 决策 等 活动 。 
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图 3-8 构建 学 习 型 组 织 的 系统 过 程 示意 


从 上 面 的 介绍 可 以 看 出 ， 学 习 型 组 织 也 强调 思维 能 力 、 反 思 和 反馈 
等 ， 这 些 有 助 于 做 好 敏捷 测试 。 系 统 性 思维 有 利于 我 们 全 面 地 分 析 测 试 
需求 或 测试 范围 ， 而 创造 性 思维 《如 逆 同 思维 、 发 散 性 思维 ) 可 以 帮助 
我 们 挖掘 更 多 的 测试 场景 。 只 有 不 断 反 思 ， 才 能 改正 错误 、 持 续 改 进 ; 
只 有 不 断 获取 用 户 的 反馈 ， 才 能 更 好 地 理解 用 户 的 真正 需求 。 








3.5.4 ”业务 学 习 与 缺陷 根 因 分 析 





通过 腾讯 、 华 为 和 思科 等 生动 的 案例 ， 也 许 你 已 经 了 解 了 如 何 达 成 
质量 共识 ， 以 及 如 何 帮助 团队 增强 质量 意识 。 如 条 团队 质量 意识 很 强 ， 


但 不 知道 如 何 做 出 高 质量 的 产品 ， 那 么 质量 意识 也 就 失去 了 价值 。 


“做 正确 的 事 ” 比 “正确 做 事 ” 更 有 价值 。 如 果 需 求 定 义 错 了 ， 即 做 错 
了 事情 (do the wrong thing) ， 那 么 即使 以 最 正确 的 方式 完成 设计 、 编 
程 ， 也 没有 价值 。 为 了 正确 地 把 握 客 户 需求 ， 在 学 习 型 组 织 中 ， 会 注重 
业务 知识 的 学 习 ， 如 通过 扮演 角色 、 场 景 模拟 等 手段 更 好 地 领会 真实 的 
业务 应 用 场景 。 对 于 学 习 型 组 织 ， 不 但 要 具备 客户 思维 ， 想 客户 之 所 
想 ， 从 客户 角度 理解 产品 的 需求 ， 而 且 还 要 不 断 地 收集 客户 反馈 ， 进 一 
步 理 解 业 务 及 其 客户 。 








在 工作 中 不 断 学 习 是 主要 的 ， 其 中 一 个 重要 环节 就 是 缺陷 根 因 分 
析 。 在 发 现 了 缺陷 后 ， 把 缺陷 修正 了 还 不 够 ， 还 要 做 根 因 分 析 ， 找 出 缺 
陷 产 生 的 根本 原因 ， 然 后 采取 措施 消除 其 根本 原因 ， 以 达到 缺陷 预防 的 
目的 。 同 时 ， 这 种 案例 分 析 惑 是 一 次 很 好 的 学 习 机 会 ， 是 质量 文化 建设 
的 一 部 分 ， 目 然 成 为 构建 有 强烈 质量 意识 的 学 习 型 组 织 的 主要 活动 之 














除 构建 有 强烈 质量 意识 的 学 习 型 组 织 之 外 ， 还 有 其 他 一 些 优秀 实 
践 。 例 如 ， 建 立 多 媒体 形式 的 业务 知识 库 、 质 量 知识 库 ， 甚 全 举办 质量 
知识 竞赛 ， 提 高 团队 的 学 习 兴 趣 ， 或 励 团 队 要 多 关注 学 习 。 又 如 ， 建 立 
虚拟 的 专业 技术 社区 ， 如 人工 智能 社区 、 人 性 能 测试 社区 和 自动 化 测试 社 
区 等 ， 让 具有 共同 爱好 的 员工 聚 在 一 起 进行 交流 和 讨论 ， 时 常 开展 沙 
龙 、 论 坛 或 读书 “打卡 ”等 活动 ， 避 励 学 习 型 文化 ， 促 进 公 司 范 围 内 的 沟 








通 和 交流 ， 共 同学 习 和 进步 。 
3.6 ”如 何 更 好 地 为 测试 而 学 


有 一 个 思考 题 ， 来 自 于 《 塔 木 德 》， 问 :“ 有 两 个 男孩 帮 家 里 打扫 
烟 和 内， 打扫 完了 ， 一 个 满 脸 马 黑 地 从 烟 肉 里 跑 出 来 ， 妃 一 个 脸 上 一 点 煤 
灰 都 没有 ， 那 么 ， 你 认为 哪 一 个 男孩 会 去 洗脸 呢 ? ” 





估计 你 能 很 快 地 给 出 正确 答案 。 再 来 一 个 难 一 点 的 题目 : 英语 字母 
表 的 第 一 个 字母 是 A，B 的 前 面 当然 是 A， 那 么 最 后 一 个 字母 是 什么 ? 估 
计 有 人 会 答 错 。 


这 了 束 是 对 你 的 一 次 思维 训练 ， 感 党 如 何 ? 在 前 面 曾 经 讲 过 敏捷 测试 
思维 方式 ， 这 里 我 们 仍然 要 先 从 思维 开始 说 起 ， 但 这 里 侧重 思维 能 力 的 
训练 。 人 的 思维 能 力 是 可 以 通过 训练 来 提升 的 。 思 维 训练 的 结果 ， 可 以 
让 你 具有 更 广阔 的 视野 ， 对 问题 有 更 深层 次 的 理解 ， 找 到 更 多 或 更 好 的 
解决 问题 的 方法 。 








为 了 做 好 测试 工作 ， 我 们 需要 具备 哪些 思维 能 力 呢 ?我 认为 应 该 具 
备 成 长 性 思维 、 系 统 性 思维 《结构 化 思维 ) 、 创 造 性 思维 (包含 发 散 性 
思维 、 逆 问 思 维 等 ) 、 批 判 性 思维 和 用 户 思 维 。 成 长 性 思维 在 前 面 已 经 
讲 过 了 ， 批 判 性 思维 和 用 户 思 维 以 后 会 讲 到 ， 这 里 侧重 讲解 系统 性 思维 
和 创造 性 思维 。 


3.6.1 系统 性 思维 训练 


我 们 对 软件 测试 的 认 知 一 般 来 目 于 日 常 工作 ， 是 以 上 自我 为 中 心 的 ， 
因此 ， 这 种 认 知 难免 是 片面 的 、 零 散 的 、 混 乱 的 ， 如 图 3-9 所 示 。 而 系 
统 性 思维 能 帮助 你 打破 这 种 对 测试 的 认 知 方式 ， 让 你 能 够 了 解 软 件 测试 
的 概貌 和 整体 结构 ， 它 还 可 以 帮 你 整体 地 、 多 角度 地 、 多 层次 地 分 析 测 
试 对 象 及 其 测试 范围 、 测 试 风险 等 ， 制 定 有 效 的 测试 策略 ， 选 择 更 合适 
的 测试 方法 。 


性 能 测试 a Postman 
集成 测试 RW bs 用 户 故 事 
Jira pp 单元 测试 
JMeter ! 以 自我 为 中 心 的 六 | 自动 化 测试 


测试 认识 


手工 测试 本 / 接口 测试 


缺陷 As ee 7 测试 用 例 


功能 测试 a 测试 任务 


图 3-9 ”以 自我 为 中 心 的 认 知 


结构 化 思维 也 属于 系统 性 思维 。 从 系统 的 构成 来 看 ， 一 个 系统 一 定 
可 以 分 解 成 大 干 个 单元 ， 而 它们 也 一 定 是 结构 化 的 、 上 共有 层次 的 。 作 为 
敏捷 测试 人 员 ， 如 果 你 需要 完成 一 个 复杂 的 被 调 系 统 的 测试 计划 或 业务 
级 别 的 测试 任务 ， 可 以 运用 结构 化 思维 ， 把 一 个 大 的 被 测 系统 分 解 成 不 
同 模块 和 子 系统 ， 各 个 “击破 ”。 例 如 ， 为 每 个 模块 设计 不 同类 型 的 训 
试 ， 采 用 不 同 的 测试 方法 ， 选 择 不 同 的 测试 工具 。 


有 人 说 笔者 绘制 的 “软件 测试 全 景 图 ”( 如 图 3-10 所 示 〉 是 系统 性 思 
维 的 出 色 呈 现 ， 因 为 它 全 面 且 系统 地 展示 了 什么 是 软件 测试 ， 也 代表 了 
笔者 对 软件 测试 的 看 法 。 如 果 需 要 完整 的 软件 测试 全 景 蜗 清 图 ， 请 访问 


笔者 公众 号 “软件 质量 报 着 ?获取 。 


可 测试 性 所 
团队 /人 员 管理 
人 员 素质 


计划 执行 / 
风险 /进度 /… 





过 程 跟踪 





测试 件 管理 


缺陷 管理 

@ 风险 管理 
测试 计划 

测试 环境 管理 

与 利益 相关 者 关系 


工具 

@ 悍 

过 程 模型 

工程 过 程 
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@ 测试 设计 

@ 测试 执行 | 工作 过 程 
结果 评估 
测试 报告 

@ 报 

SQA 


配置 管理 | 支持 过 程 
项 目 管理 


自动 化 测试 技术 
面向 对 象 技 术 

面向 接口 的 测试 技术 
面向 SOA 的 技术 
面向 微服 务 测试 技术 
Web 测 试 技术 

移动 App 测 试 技术 
Windows 测 试 技术 
嵌入 式 软件 测试 技术 
物 联网 测试 技术 
数据 库 测试 技术 
云 测试 技术 


@ 大 数据 测试 技术 


























将 图 标 插入 主题 中 








4. 层次 / 
类 型 


5 .方式 







测试 定义 

测试 标准 

测试 原则 

软件 发 展 
软件 发 展 历史 多 qh 


分 析 流 派 
标准 流派 ” ”度量 9 
质量 流派 


基于 直觉 和 经 验 的 方法 (IEBT) /2、 
基于 需求 /标准 验证 的 方法 (ReBT 1 ， 


省 询 入 法 (IPBT)6) 
A 

基于 代码 的 方法 ( CoBT ) 
基于 故障 模式 的 方法 (FPBT ) 

基于 模型 的 方法 (MBT ) (1 
基于 使 用 的 方法 (UBT) G 








人 工 评审 @ 
单元 测试 | 工具 静态 分 析 包 四 
动态 测试 ® 
集成 测试 
系统 测试 6 


验收 测试 
(acceptance testing ) 


回归 测试 (regression testing ) RiB1 
BVT/ 健 全 测试 
安装 测试 /卸载 测试 





手工 测 
自动 化 测试 -- 

主动 测试 。 研发 人 员 主 动 进行 的 测试 

被 动 测 试 ”在 线 测试 (testing in production 、 
| 基于 互联 网 的 测试 ® 

自我 刘斌 / 划 试 外 包 / 第 4 方 测试 

实验 室 环境 测 斌 现场 测试 

_ 冒 姻 测 坛 与 探索 式 测试 。 特点 /应 用 场景 同 合 
静 坟 测试。 代码 评审 工具 分 析 

动态 测试 “~ -手工 测试 /自动 化 测试 





















图 3-10 ”笔者 对 测试 的 认 知 一 一 软件 测试 全 景 图 (简化 版 ) 


3.0.2 


创造 性 思维 训练 


在 软件 测试 的 分 析 和 设计 中 ， 我 们 需要 借助 发 散 性 思维 挖掘 更 多 的 
测试 点 或 应 用 场景 ， 识 别 出 更 多 的 测试 风险 。 在 工作 中 ， 你 可 以 和 同事 


一 起 采用 “头脑 风暴 ?的 方式 进行 测试 的 分 机 和 设计 ， 激 励 大 家 打破 惯 有 
的 思路 ， 跳 出 原 有 的 忠 维 框架 ， 畅 所 欲 言 ， 这 对 每 个 人 的 发 散 性 思维 是 
一 个 很 好 的 训练 。 





我 们 可 以 用 发 散 性 思维 给 现在 比较 热门 的 视频 会 议 App 设 计 临 界 测 
试 。 图 3-11 束 是 以 思维 导 图 的 形式 给 出 了 一 些 测试 点 ， 你 可 以 想 想 还 有 
哪些 临界 点 值得 考虑 。 







[ER 
| 
手机 系统 ] { 承 统 时 间 早 于 或 晚 于 标准 时 间 时 ] 
ELEY 
| | 会 议 中 关闭 或 打 Wi 
| 麦克 风 权 限 

















外 接 摄 像 头 与 内 置 
摄像 头 来 回 切 换 





外 接 麦 克 风 与 内 置 
麦克 风 来 回 切换 E 常 模式 来 回 切 换 











图 3-11 视频 会 议 App 临 界 测试 的 测试 范围 


我 们 在 测试 中 也 常用 到 闻 向 思维 ,借助 这 向 思维 发 现 更 多 的 弄 第 操 
作 、 寞 第 数据 ， 设 计 出 更 多 的 负面 测试 用 例 。 大 多 数 测 试 人 员 具 备 这 种 
测试 思维 ， 而 开发 人 员 往 往 是 以 正 辐 思维 去 构建 系统 。 发 散 性 思维 或 励 
我 们 往 不 同 的 方向 去 思考 问题 ， 而 逆向 思维 玛 励 我 们 往 反 方向 去 思考 问 
题 ， 这 样 做 往往 能 找到 真正 的 问题 。 





一 个 有 效 运用 逆 癌 思维 的 策略 是 ， 在 讨论 问题 的 时 候 ， 注 意 大 家 都 
关注 的 点 或 方向 ， 然 后 逆 问 看 ， 旨 着 完全 不 同 的 方 癌 思考 。 这 样 的 例子 
很 多 ， 如 用 户 操 作对 了 会 呈现 这 样 的 结果 ， 但 我 们 应 该 想到 在 用 户 操作 


错误 时 会 怎样 。 在 手机 App 上 开 视 频 会 议 ， 需 要 用 到 手机 目 融 的 摄像 头 
和 麦 区 风 ， 那 么 你 可 以 在 会 议 各 开 前 或 者 在 会 议 中 ， 关 闭 摄像 头 和 麦克 
风 的 使 用 权限 ， 在 这 样 的 场景 下 测试 手机 App 表 现 如 何 。 


3.6.3 如何 提升 测试 目 动 化 能 


笔者 曾经 在 个 人 公众 号 “软件 质量 报道 "上 发 布 过 针对 个 人 的 软件 测 
试 能 力 模 型 ， 现 在 义 把 这 个 模型 进行 了 一 次 更 新 ， 如 图 3-12 所 示 。 它 包 
括 4 个 模块 : 测试 的 基本 能 力 、 业 务 测试 能 力 、 测 试 开 肥 能 力 和 测试 技 
术 管 理 能 力 。 测 试 的 基本 能 力 是 文 撑 测试 人 员 回 3 个 职业 方 同 发 展 的 基 
础 ， 业 务 测 试 能 力 会 文 持 调试 人 员 回 业务 测试 专家 发 展 ， 测试 开发 能 
更 倾 问 于 技术 ， 文 持 训 试 人 员 问 测试 以 构 师 发 展 ， 技 术 管理 能 力 侦 撤 术 
管理 ， 文 持 测试 人 员 问 测试 经 理 或 测试 总 监 发 展 。 

















软件 测试 能 力 模型 ”V1.1 








业务 测试 测试 开发 A 技术 管理 
六 到 消 业 务 测 武 | 性 能 测试 与 调 优 : ， 晤 二 4 测 汪 度量 与 改进 
探索 式 测试 多 安全 性 测 汪 ”改进 | 质量 管理 创新 
测试 脚本 开发 与 执行 日 志 分 析 能 力 创新 | 技术 革新 
上 下 文 著 芋 分 析 生 堵 本 开发 与 调试 :| 是 S 太 
应 用 场景 挖 所 二 测试 工具 开发 : ;出 理 内 有 效 沟 运 与 协调 
| 测试 建 模 i! 自动 化 测试 框架 设计 与 开发 、，; 冯 呈 是 亲 合 力 
制定 有 效 测试 策略 。 ;| CI/CD 构 建 与 维护 : ; BE 51s 
业务 洞察 、 好 模 。 | | 代码 分 析 与 评审 : :到 | 计 Smig 管 理 
需求 评审 与 用 户 体验 。 | | 动态 测试 ( 合 工 具 ) :到 测试 过 程 监控 
: 缺陷 根 因 分 析 jy mock 技 术 & 集 成 ;| 节 测 江 环 境 管理 
| 测试 业务 理解 水 平 测试 需求 分 析 环境 的 部 署 与 配置 
| 能 力 软件 操作 能 力 场景 与 数据 分 析 测试 工具 的 使 用 
EE 测试 方法 的 运用 测试 用 例 设 计 缺陷 的 定位 与 分 析 
| aa 到 | 次 人 和 绩 国 沟通 与 协作 要 村 系统 性 思维 
来 反 ” 居 到 | 形式 化 方法 轩 因 | 学 习 能 力 方式 分 析 性 思维 /批判 性 思维 
理论 时 心理 学 为 里 观 家 力 、 专 注 力 能 为 出 创 i 洁 性 思维 /情景 性 思维 


图 3-12 ”软件 测试 能 力 模 型 


有 人 说 : 你 可 以 不 全 测试 ， 但 是 不 能 不 懂 测 试 目 动 化 。 这 话 肯 定 不 
对 ， 但 多 少 说 出 了 当前 的 行业 现实 : 重 汕 试 开 及 ， 轻 手工 测试 。 在 敏捷 
测试 里 ， 测 试 目 动 化 确实 很 重要 ， 是 实现 持续 交付 的 基础 ， 因 此 ， 对 于 
测试 人 员 的 自动 化 技能 要 求 很 高 。 测 试 目 动 化 能 力 的 培养 主要 依靠 自己 
多 练习 和 多 实践 ， 循 序 渐进 。 














例如 ， 可 以 先 学 会 搭建 和 使 用 测试 工具 ， 学 习 用 Python 、Java 等 语 
言 编写 测 试 肢 本， 再 学 习 测 试 工具 和 测试 框架 的 开发 和 优化 ， 以 及 完成 
自动 化 测试 和 持续 集成 环境 的 集成 。 如 果 带 领 团 了 从 ， 还 需要 负责 制定 和 
实施 整个 团队 的 自动 化 测试 策略 。 





3.6.4 ”如 何 学 习 测 试 建 模 





学 会 测试 建 模 就 是 掌握 了 一 种 高 级 的 测试 的 分 析 和 设计 能 力 ， 学 习 
它 可 以 从 以 下 两 个 方面 入 手 。 


1) 基于 模型 的 测试 (model-based testing，MBT) 是 测试 需求 分 析 
和 测试 设计 的 建 模 ， 把 业务 需求 通过 模型 抽象 为 测试 需求 ， 进 而 转化 成 
可 执行 的 测试 用 例 。 基 于 模型 的 测试 也 不 是 特别 高 深 ， 像 因果 图 、 分 类 
树 和 业务 流程 图 等 均 可 以 理解 为 测试 建 模 。 比 较 专 业 的 测试 建 模 方 法 包 
括 基于 事件 流 建 模 、 基 于 有 限 状态 机 建 模 和 基于 形式 化 方法 建 模 。 








2) 测试 目 动 化 建 模 : 这 可 以 看 成 上 一 步 的 延伸 ， 移 根据 测试 需求 
来 完成 测试 建 模 ， 再 实现 上 自动 生成 测试 数据 、 测 试 脚本 等 功能 。 平 第 所 
说 的 测试 自动 化 并 不 是 真正 的 自动化， 只 能 算 “ 测 试 半 目 动 化 ”， 因 为 测 








试 脚 本 需要 工程 师 手工 编号 ， 只 有 测试 执行 是 自动 的 。 有 一 些 基 于 模型 
的 测试 工具 ， 如 微软 开发 的 Spec Explorer， 可 以 实现 测试 自动 化 脚本 的 
生成 和 执行 ， 相 当 于 集成 了 上 自动 化 测试 框架 ， 从 而 实现 更 彻底 的 测试 自 
动 化 。 








如 采 从 更 广义 的 角度 来 看 测试 建 模 ， 还 包括 测试 过 程 建 模 ， 如 大 家 
比较 熟悉 的 W 模 型 、TMap 模 型 等 。 在 第 2 半 中 ， 我 们 已 给 出 了 敏捷 测试 
过 程 模型 ， 你 也 可 以 基于 这 个 敏捷 测试 过 程 模 型 ， 构 建 更 适合 上 自己 的 模 
型 。 这 更 能 加 深 你 对 敏捷 测试 的 理解 ， 并 能 更 好 地 实施 和 改进 敏捷 测 
iis 


3.6.5 ” 借 力 提 升 目 己 


在 国外 ， 很 多 人 习惯 用 博客 进行 交流 ， 你 可 以 在 里 面 得 到 很 多 信 
息 ， 包 括 发 表 的 文章 、 在 线 课程 安排 及 活动 通知 。 笔 者 有 总 结 和 分 享 的 
习惯 ， 兽 经 于 2013 年 在 CSDN 的 博客 里 发 表 了 一 篇 文章 ， 总 结 了 “软件 测 
试 Top 120 Blog”， 目 前 的 阅读 量 已 经 两 万 多 了 。 











这 里 重点 推荐 几 个 敏捷 测试 相关 的 博 铬 。 








1) 迈克 尔 : 博 尔 顿 的 博客 : 迈 殉 尔 : 博 尔 顿 和 人 詹姆斯 :巴赫 共同 开发 
了 快速 软件 测试 的 测试 方法 ， 他 的 博客 主要 介绍 了 上 下 文 驱动 、 探 索 式 
测试 等 内 容 。 








2) 詹姆斯 -巴赫 的 博客 ， 主 要 介绍 了 上 下 文 驱动 、 探 索 式 测试 等 内 


3) 者 工区 里 斯 平 的 博客 : 两 本 敏捷 测试 著作 的 作者 之 一 ， 有 关 敏 
捷 测 试 的 内 容 比 较 多 。 


4) 莉 萨 : 克 里 斯 平和 珍妮 特 - 格 雷 戈 里 还 有 一 个 关于 敏捷 测试 的 共同 
博客 ， 笔 者 束 是 在 这 里 找到 了 她 们 对 敏捷 测试 的 定义 。 


5) 艾 伦 : 佩 奇 的 博客 : 艾 伦 : 佩 奇 是 《微软 的 软件 测试 之 道 》 的 主要 
作者 ， 和 布 伦 特 : 詹 森 共同 提出 了 现代 测试 的 7 个 原则 。 


另 一 种 比较 重要 的 学 习 方 式 就 是 参加 各 种 相关 的 沙龙 、 会 议 ， 线 
下 、 线 上 的 都 可 以 ， 这 样 可 以 结识 更 多 的 测试 同行 及 相关 领域 的 专家 ， 
及 时 了 解 他 们 的 研 完 方向。 其 实 ， 我 们 不 仅 可 以 参加 测试 相关 的 会 议 或 
沙龙 ， 还 可 以 参加 软件 质量 、 研 发 效能 、 敏 捷 ， 以 及 DevOps 等 相关 的 
会 议 或 沙龙 。 


最 后 公布 本 节 一 开始 提出 的 那 两 道 问题 的 答案 。 


对 于 第 一 个 题目 ， 两 个 男孩 一 起 打扫 同一 个 烟 秽 ， 不 可 能 出 现 一 个 
脸 干净 、 妃 一 个 脸 脏 的 情况 。 建 议 你 抽空 将 这 个 故事 完整 地 读 一 下 ， 相 
信 会 对 批判 性 思维 有 更 深 的 理解 。 


另 一 个 难点 的 题目 是 测试 一 下 你 的 发 散 性 思维 , “字母 表 ” 的 英文 是 
Alphabet， 那 么 最 后 一 个 字母 当然 是 t 了 。 


3.7 ”如 何 与 产品 、 开 发 等 角色 协作 





在 《敏捷 宣言 》 核 心 的 4 句 话 中 ， 第 一 名 就 是 “个 体 与 协作 胜 于 流程 
和 工具 ”。 在 敏捷 中 ， 强 调 自我 管理 ， 团 队 对 质量 负责 、 对 测试 负责 ， 
这 些 也 离 不 开 协 作 。 死 里 斯 平和 格雷 戈 里 于 2017 年 给 出 的 “敏捷 测试 定 
义 ” 指 出 ， 敏 捷 测 试 束 是 为 了 问 客 尸 持 续 交 付 蜗 质量 的 、 有 价值 的 产品 
而 进行 的 一 系列 基于 团队 协作 的 测试 实践 等 。 如 果 将 其 高 度 概括 ， 那 么 
敏捷 测试 束 是 基于 团队 协作 的 测试 实践 。 这 些 说 明 协 作 在 敏捷 测试 中 是 
非常 重要 的 。 














3.7.1 队 协 作 的 五 大 障碍 


团队 协作 包括 团队 精神 、 沟 通 技 巧 、 人 际 交 往 能 力 、 谈 判 与 冲突 管 
理 ， 以 及 信息 透明 和 组 织 的 敏捷 性 等 。 敏 捷 组 织 本 吴 已 经 丰 定 了 组 织 敏 
捷 性 ， 而 其 每 日 站 会 就 是 一 个 典型 的 “信息 透明 ”的 例子 。 每 个 人 把 昨天 
做 过 的 、 今 天 将 要 做 的 事情 和 遇 到 的 困难 等 癌 团 队 汇报 ， 让 每 个 人 了 解 
其 他 人 所 做 的 工作 及 其 状态 ， 互 相 之 间 进 行 开 放 式 交流 ， 从 而 能 够 极 大 
地 提升 项 目的 可 视 性 。 


谈 到 团队 协作 ， 其 实 不 容易 ， 因 为 一 个 团队 可 能 会 存在 各 种 问题 ， 
比如 有 的 人 喜欢 以 目 我 为 中 心 、 个 人 英雄 主义 ， 而 有 的 人 不 善于 表达 和 
沟通 ， 也 缺乏 良好 的 人 际 交 往 能 力 。 所 以 ， 在 软件 研发 过 程 中 ， 团 队 协 
作 的 确 是 一 个 比较 大 的 挑战 。 这 里 ， 推 荐 一 本 书 《 团 队 协作 的 五 大 隐 
碍 》 《帕特里克 ' 兰 西 奥 尼 普 ) ， 该 书 中 描述 了 公司 来 了 一 位 新 的 CEO 
翅 瑟 琳 ， 她 通过 逐个 突破 团队 协作 的 五 大 隐 碍 ， 将 一 文 澳 散 的 团队 打造 
成 团结 协作 的 团队 ， 从 而 使 公司 销售 业绩 一 路 攀升 。 





这 五 大 障碍 是 什么 ? 


1) 缺乏 信任 。 没 有 信任 ， 任 何 一 个 团队 都 设法 谈 协作 ， 因 为 信任 
是 团队 协作 的 基础 。 信 任 很 重要 ， 但 又 很 难 做 到 。 缺 乏 信任 是 比较 向 见 
的 问题 ， 一 些 人 不 愿 赂 开心 康 ， 也 不 愿意 承认 目 己 的 缺点 和 弱点 ， 从 而 
导致 无 法 与 他 人 建立 信 任 。 例 如， 开 及 人 员 和 测试 人 员 会 经 常 相互 不 信 
任 ， 喜 欢 责 备 对 方 ， 如 开发 人 员 责 备 测试 人 员 为 什么 bug 测 试 不 出 来 、 
质疑 测试 人 员 不 懂 代 码 等 。 











2) 惧 介 冲突 。 这 里 的 神 突 是 指 团队 内 部 不 同 观点 的 直接 碰撞 ， 其 
至 是 激烈 的 交锋 。“ 惧 介 神 突 ? 比 上 面 说 的 “责备 ”还 要 糟糕 , “责备 ”至 少 
能 刺激 对 方 成 长 ， 而 这 种 所 谓 的 “一 团 和 和气 ”， 就 会 导致 质量 问题 一 直 存 
在 下 去 ， 得 不 到 解决 。 当 面 介 神 突 ， 背 后 还 有 可 能 会 进行 人 身 攻击 ， 非 
常 不 利于 协作 。 








3) 欠缺 投入 。 由 于 缺乏 信任 、 惧 怕 冲 突 ， 和 争论 就 会 少 ， 互 相 不 愿 
意 沟 通 ， 在 协作 、 沟 通 上 投入 目 然 就 会 少 ， 团 队 内 部 长 期 存在 的 深层 次 
歼 导 束 无 法 解决 ， 基 至 越 来 越 严 重 ， 进 入 恶性 循环 。 


4) 逃避 贡 任 。 上 述 几 大 障碍 的 存在 ， 自 然 会 导致 相 互 推 色 责任 ， 
缺乏 团队 精神 。 谁 表现 得 越 好 ， 反 而 越 容易 中 到 他 人 的 忌 恨 ， 这 样 就 造 
成 团队 成 员 甘于 平 良 ， 丧 失 进取 心 ， 从 而 导致 团队 更 加 澳 散 。 











5) 无 视 结果 。 逃 避 责 任 后 的 结果 ， 就 相当 于 无 视 团 队 的 目标 和 续 
果 ， 团 队 成 员 都 不 愿意 为 实现 团队 目标 而 付出 ， 相 互 之 间 没 有 信任 的 基 
础 ， 也 就 很 难 齐心 协力 、 坚 持 不 懈 地 致力 于 实现 团队 的 目标 。 





因此 ， 从 协作 管理 上 来 看 ， 团 队 需 要 扫 清 协作 道路 上 的 这 5 项 障 
碍 。 例 如 ， 进 行 一 些 野 外 拓展 训练 、 聚 餐 等 活动 ， 建 立 相 互 的 信任 关 
系 。 团 队 还 可 以 主动 提出 一 些 主题 ， 使 团队 成 员 敞 开心 亩 地 去 讨论 。 在 
讨论 时 ， 再 加 以 正确 的 引导 和 必要 的 提醒 ， 提 醒 东 些 成 员 注意 沟通 方 
式 ， 即 要 求 成 员 要 善于 聆听 、 对 事 不 对 人 等 。 久 而 久之， 团队 内 就 会 营 
造 出 民 好 的 沟通 协作 气氛 。 同 时 ， 团 队 一 起 制定 明确 的 目标 ， 更 重要 的 
古 达 成 共识 ， 明 确 恨 好 的 绩效 考核 机 制 ， 做 到 奖惩 分 明 ， 这 样 就 能 消除 
五 大 障碍 ， 从 而 打造 出 一 文 团结 协作 的 团队 〈 见 图 3-13) 。 











真诚 待人 ， 篆 开心 以 交流 






相 允许 自由 发 表 观 点 
全 方位 考核 提倡 建设 性 冲突 
2 -A 侧重 团队 奖励 
A 六 
形成 明确 的 共识 
成 员 做 出 个 人 承诺 
RE 成 员 的 职责 定期 对 成 果 进 行 回顾 


奖 征 分明， 优胜 务 汰 
培养 客观 的 态度 ， 正 确 对 待 成 功 和 失败 
培养 从 失误 中 学 习 的 能 力 


图 3-13 ”消除 五 大 障碍 ， 打 造 团结 协作 的 团队 








笔者 结合 敏捷 测试 的 实际 要 求 ， 在 下 文中 将 谈 谈 测试 人 员 如 何 与 产 
品 人 员 、 开 发 人 员 等 不 同 角色 进行 沟通 协作 ， 内 容 会 涉及 质量 管理 、 冲 


突 管理 、 团 队 精 神 、 沟 通 技 巧 和 人 际 交 往 能 力 等 ， 目 的 是 为 了 持续 交付 
高 质量 的 产品 。 





3.7.2 团队 协作 高 于 一 切 


对 于 团队 来 说 ， 团 队 协作 高 于 一 切 。 只 有 团队 协作 ， 才 能 实现 团队 
ee ee a 
现 目标 ， 整 个 团队 也 很 累 、 很 吾 。 这 一 点 在 敏捷 团队 中 是 比较 容易 达成 
共识 的 ， 因 为 前 面 说 过 , “个 体 与 协作 胜 于 流程 和 工具 ”， 这 体现 了 敏捷 
的 价值 观 ， 而 且 是 第 一 价值 观 。 并 且 ， 团 队 也 是 全 职能 的 特性 团队 ， 强 
调 团 队 对 质量 和 测试 负责 。 有 了 这 个 共识 ， 从 文化 和 认 知 上 ， 在 协作 方 
面 就 没有 太 大 障碍 了 ， 对 吧 ? 











不 一 定 ， 每 个 角色 容易 从 目 身 角度 看 问题 ， 比 如 我 们 很 容易 听 到 如 
下 言论 。 


1) 产品 人 员 常 说 ; 客户 的 想法 总 变 ， 开 发 人 员 不 好 沟通 等 。 





2) 开发 人 员 第 说 : 产品 需求 总 变 ， 产 品 人 员 太 强势 ， 只 做 “加 
法 ?不 做 “减法 ”等 。 





3) 测试 人 员 常 说 : 需求 变 了 却 不 通知 ， 开 发 人 员 太 “霸道 ”>， 测 试 
的 时 间 总 被 压缩 等 。 








在 现实 中 ， 人 们 很 容易 筷 记 《敏捷 宣言 》 中 所 提倡 的 “协作 >， 人 欠缺 
团队 精神 ， 没 有 从 全 局 观点 看 问题 。 因 此 ， 想 要 有 民 好 的 协作 ， 团 队 的 
每 个 成 员 都 需要 全 局 思维 方式 ， 需 要 换 位 思考 ， 多 站 在 对 方 的 角度 看 问 


匮 。 





而 且 ， 团 队 协作 还 依赖 于 之 前 说 的 信任 ， 依 赖 于 团队 归属 感 、 责 任 
感 等 。 马 斯 洛 需求 理论 告诉 我 们 ， 人 们 既 有 对 安全 感 的 需求 ， 又 有 对 归 
属 感 的 需求 ， 问 题 是 安全 感 和 归属 感 本 和 喘 就 存在 了 矛盾。 安全 感 让 我 们 容 
易 在 心理 上 封闭 起 来 ， 提 防 他 人 发 现 上 自己 的 弱点 ; 而 归属 感 则 需要 获得 
RR en ee as 

于 奶 求 安全 感 ， 才 导致 团队 成 员 之 间 无 法 建立 信任 。 因 此 ， 良 好 的 
四 要 团队 成 员 刻 意 练 习 ， 不 断 磨 合 ， 不 断 改进 ， 才 能 达到 较 高 
的 水 平 。 




















根据 微软 公司 的 定义 ， 团 队 内 仪 达成 共识 还 远 远 不 够 ,团队 精神 共 
有 以 下 几 操 : 


。 制定 团队 共同 的 使 命 和 目标 ; 


。 传达 “成 功 必须 依 徘 团队 合作 ”这 样 坚强 的 信念 ; 





营造 团队 中 的 归属 感 ， 并 将 你 我 团结 在 一 起 以 实现 共同 的 目标 ; 


鼓励 团队 成 员 互 相 帮 助 、 互 相 尊重 和 互相 信任 ; 








让 每 个 人 都 觉得 自己 的 工作 很 重要 ， 有 成 就 感 ; 


与 团队 成 员 分 享 责 任 、 胜 利 与 成 功 、 采 誉 等 





3.7.3 ”达成 对 质量 及 其 管理 的 共识 


_ 


上 文 谈 到 了 “制定 团队 共同 的 使 命 和 目标 *”， 在 敏捷 开发 中 , “使命 


和 目标 ?可 以 理解 为 "尽早 、 持 续 地 交付 价值 给 客户 ?”， 这 没 问 题 ， 但 还 
不 够 ,团队 需要 对 这 个 “价值 ”达成 共识 。 越 能 解决 客户 的 问题 就 越 有 价 
值 ， 那 么 越 能 让 客户 愉悦 和 满意 是 不 是 也 越 有 价值 呢 ? 质量 就 是 客户 的 
满意 度 。 那 么 这 里 的 “价值 ”等 不 等 于 “质量 * 呢 ?因为 质量 、 价 值 都 是 相 
对 于 客户 而 存在 的 ， 即 使 不 能 认为 它们 完全 相等 ， 但 也 有 很 强 的 关系 。 
从 敏捷 测试 的 角度 来 看 ， 团 队 必 须 束 “ 质 量 ” 达 成 共识 ， 认 识 质 量 的 价 

值 。 














对 质量 达成 共识 还 不 够 ， 更 重要 的 是 在 “质量 管理 "上 达成 共识 。 在 
日 第 的 研发 活动 中 ， 上 自然 伴随 着 质量 管理 ， 如 果 没 有 达成 共识 ， 团 队 内 
就 容易 产生 冲突 。 在 敏捷 中 ， 我 们 希望 团队 有 这 样 的 质量 管理 共识 : 





。 把 事情 一 次 做 对 是 效率 最 高 的 ; 


。 质量 是 构建 起 来 的 ， 不 是 测试 测 出 来 的 ; 


。 缺陷 预防 比 发 现 缺陷 更 有 价值 ; 





。 质量 由 客户 来 评判 胜 于 质量 由 己 有 的 标准 /规范 来 评判 。 








我 们 可 以 通过 图 3-14 所 示 的 “软件 质量 窒 理 宣言 ”展示 团队 共同 的 质 
量 管理 价值 观 。 


软件 质量 管理 宣言 


BE Ny 
理 ， 当 万 物 互联 到 率 之 时 ， 这 是 很 危险 的 。 因 此 特 发 布 质量 管理 空 言 2 了 | 二 二 作 行 Q% 二 和 


胜 于 质量 由 已 有 的 标准 /规范 来 评判 
胜 于 遵守 已 有 的 约定 

胜 于 发 现 缺陷 

胜 于 过 程 管 理 


虽然 左边 更 有 价值 ， 我 们 也 承认 右边 也 有 价值 ， 提 醒 大 家 不 要 走 极端 





图 3-14 ”软件 质量 管理 宣言 


这 样 的 团队 不 但 会 重视 需求 评审 、 设 计 评 审 和 代码 评审 ， 而 且 会 更 
重视 写 好 用 户 故 事 、 设 计 好 架构 和 遵守 代码 规范 等 。 开 发 人 员 要 有 “ 代 
码 即 艺 匠 ”这 种 强烈 的 意识 。 这 时 ， 测 试 人 员 指 出 产品 需求 定义 不 清 
楚 、 代 码 不 规范 等 问题 ， 产 品 人 员 和 开发 人 员 就 很 乐意 接受 ， 不 会 出 现 
之 前 所 说 的 互相 贡 备 的 问题 ， 也 不 会 再 出 现 相互 推 外 员 任 的 局 面 。 如 果 
在 质量 及 其 管理 上 ， 财 队 内 部 没有 达成 共识 ， 那 么 测试 过 程 中 的 良好 协 
作 显 然 是 不 可 能 实现 的 。 











3.7.4 沟通 的 技巧 





仅仅 达成 共识 ， 就 没有 协作 上 的 问题 了 吗 ? 显然 不 是 ， 协 作 还 受 绩 
效 考核 、 贡 任 分 工 、 沟 通 技巧 和 人 际 交 往 能 力 等 诸多 方面 的 影响 。 就 像 
前 面 所 说 的 ， 在 奖励 机 制 上 ， 要 奖励 团队 而 不 是 奖励 个 人 ， 把 团队 成 员 
的 利益 捆绑 在 一 起 ， 激 发 大 家 一 起 履行 监督 质量 的 贡 任 。 惩 昼 也 类 似 ， 
比如 上 线 时 出 现 了 遗漏 的 缺陷 ， 虽 然 要 了 解 问题 产生 的 根源 ， 适 当 人 奶 究 





[ey 


某 些 人 的 责任 ， 但 整个 团队 也 要 受到 惩罚 。 对 于 分 工 及 其 职责 要 明确 
个 问题 ， 可 以 参考 3.2.3 节 。 





最 后 讨论 一 下 沟通 技巧 。 


首先 要 有 勇气 (敏捷 的 价值 观 之 一 〉 同 产品 人 员 、 开 发 人 员 不 断 反 
馈 质 量 问 题 。 有 了 之 前 的 共识 ， 站 出 来 提醒 质量 存在 的 风险 ， 不 会 太 
难 ， 千 万 不 能 视而不见 ， 更 不 能 给 高 层 主管 打 小 报告 。 








其 次 ， 要 有 人 情商 (情商 比 智商 更 重要 ) ， 即 要 注意 方式 和 方法 。 例 
如 ， 在 需求 评审 时 ， 发 现 了 需求 的 问题 ， 不 要 次 “我 认为 这 个 地 方 是 不 
对 的 "， 可 以 这 样 说 :“ 假 如 我 们 是 客户 ， 在 茶 个 场景 下 ， 如 果 碰 到 这 种 
情况 ， 我 们 大 概 会 这 样 处 理 ， 而 不 会 那么 处 理 ， 对 吧 。*” 在 设计 评审 时 
也 一 样 ， 尺 量 不 要 从 自己 的 角度 看 问题 ， 而 要 从 性 能 、 安 全 性 、 可 徘 性 
等 角度 指出 问题 ， 可 以 这 样 说 :“ 根 据 我 们 上 次 性 能 测试 的 结 末 ， 有 一 
个 类 似 的 问题 ， 因 此 这 样 的 设计 也 很 有 可 能 会 有 性 能 问题 。” 














团队 对 质量 负责 。 如 宋 团 队 之 前 对 质量 不 够 重视 或 对 需求 评审 、 设 
计 评 审 等 不 重视 ， 那 么 指望 团队 目 然 好 转 ， 其 实 是 不 可 能 的 。 作 为 质量 
的 守护 者 ， 测 试 人 员 上 自然 要 承担 起 建立 质量 和 测试 方面 协作 的 主导 贡 
任 ， 在 沟通 协作 上 ， 不 怕 困 难 ， 积 极 主动 ， 一 次 不 行 就 两 次 ， 两 次 不 行 
就 三 次 ， 这 样 可 以 持续 地 影响 团队 ， 最 终 帮 助 团 队 建立 民 好 的 质量 文 
化 s 


在 需求 、 设 计 、 产 品 等 评审 会 上 ， 我 们 也 需要 有 更 多 的 投入 ， 事 先 
准备 更 充分 些 ， 在 会 议 上 就 能 提出 更 多 的 问题 ， 从 而 体现 出 目 身 的 价 


值 ， 同 时 也 让 这 些 评审 会 成 为 沟通 协作 的 主要 平台 。 上 反 过 来 ， 产 品 人 
员 、 开 发 人 员 看 到 测试 人 员 的 表现 ， 在 测试 计划 、 上 自动 化 测试 框架 设计 
和 脚本 设计 等 评审 会 上 也 会 愿意 提出 更 多 的 问题 。 这 样 ， 即 使 有 更 多 的 
争论 ， 也 目 然 而 然 地 加 强 了 团队 的 沟通 与 协作 ， 从 而 更 快 地 实现 了 团队 
的 使 命 和 目标 。 





本 章 小 结 


本 章 我 们 首先 讨论 了 敏捷 开发 中 是 人 否 需要 保留 专职 的 测试 人 员 这 个 
大 家 都 天 心 的 话题 。 虽 然 结论 是 要 根据 具体 情况 进行 具体 分 析 ， 但 同时 
也 说 明了 哪些 情况 下 需要 专职 的 测试 人 员 ， 哪 些 情 况 下 开发 和 测试 可 以 
局 度 融合 。 通 党 需要 先 设立 测试 负 贡 人 这 样 的 角色 帮助 团队 实现 顺利 过 
渡 。 


人 在 软件 研发 中 是 决定 因素 ， 在 敏捷 测试 中 也 是 如 此 。 相 比 传 统 测 
试 ， 敏 捷 模 式 对 整个 团队 测试 能 力 的 要 求 会 更 高 ， 让 开发 人 员 做 测试 ， 
或 让 整个 团队 做 调试 是 可 以 ， 但 不 能 不 管 效 果 如 何 。 如 果 开 发 人 员 做 测 
试 效率 低 ， 质 量 没 有 保证 ， 那 么 这 种 改变 就 不 是 进步 ， 而 是 倒退 。 在 没 
有 专职 的 测试 人 员 的 情况 下 ， 我 们 需要 关注 的 是 培养 敏捷 团队 的 整体 测 
试 能 力 。 测 试 和 开发 的 融合 意味 着 测试 的 能 力 将 成 为 整个 团队 的 内 在 能 
力 ， 敏 捷 测试 的 思维 和 文化 将 成 为 整个 团队 的 共同 文化 。 在 敏捷 团队 
中 ， 强 调 个 体 与 协作 ， 注 重 发 挥 团 队 的 作用 ， 质 量 不 能 依 徘 测 试 人 员 ， 
而 是 依 徘 整个 团队 ， 因 此 团队 协作 蜗 于 一 切 。 











同时 需要 认识 到 ， 团 队 中 没有 专职 的 测试 人 员 是 需要 一 些 前 提 的 ， 


包括 团队 的 质量 文化 、 软 件 运营 模式 ， 以 及 产品 属性 等 。 如 采 不 重视 这 
些 前 提 条 件 而 盲目 地 取消 专职 的 测试 ， 惑 是 拔 苗 助长 ， 结 果 只 能 是 因为 
测试 不 充分 ， 给 产品 引入 非常 大 的 质量 风险 。 





延伸 阅读 





以 前 总 有 人 说 软件 缺陷 不 会 致命 ， 但 现在 已 经 是 软件 的 世界 ， 软 件 
缺陷 导致 重大 伤亡 的 案例 时 有 发 生 。 在 笔者 的 公众 号 里 就 报道 过 多 起 软 
件 缺陷 引起 的 质量 事故 ， 比 如 下 和 面 这 个 案例 。 


2018 年 10 月 ， 印 尼 航 空 公 司 狮 航 一 架 波音 737 MAX 8 型 飞机 从 雅 加 
达 飞 往 邦 加 槛 港 之 后 没 多 和 久 就 失 联 ， 最 终 证 实 险 毁 ， 造 成 189 人 丧命 。 
2019 年 3 月 10 日 ， 埃 塞 俄 比 亚 航空 一 架 载 有 157 人 的 波音 737 MAX 8 型 飞 
机 坠毁 ， 机 上 和 人员 全 部 遇难 。 随 后 启动 了 历时 将 近 一 年 的 事故 调查 ， 波 
音 公司 承认 ， 该 公司 飞机 软件 系统 的 设计 存在 严重 缺陷 ， 并 计划 对 测试 
程序 进行 修改 。 造 成 程序 存在 严重 缺陷 的 主要 原因 就 是 软件 测试 走 了 捷 
径 : 该 公司 缩短 了 对 该 飞机 软件 系统 的 一 次 关键 测试 ， 他 们 将 整个 飞行 
过 程 分 成 了 几 个 小 单元 分 别 进行 测试 ， 但 最 后 却 没 有 做 完整 的 、 端 到 端 
的 集成 测试 ， 即 没有 进行 时 长 为 25 小 时 的 整体 测试 。 而 这 个 软件 系统 问 
题 被 认为 是 导致 上 述 两 次 致命 空难 和 该 型 号 飞机 全 球 停 飞 的 罪魁 祸首 。 





关于 团队 协作 ， 除 《团队 协作 的 五 大 障碍 》 以 外 ， 笔 者 还 想 给 大 家 
推荐 另 一 本 享有 盛 党 的 书 一 一 《 非 又 力 沟通 》。 非 又 力也 被 称 作 “ 爱 的 
语言 >， 也 许 我 们 并 不 认为 目 己 的 沟通 方式 是 “暴力 ”的 ， 但 我 们 的 语言 
第 种 确实 引发 目 己 和 他 人 的 痛苦。 该 书 作 者 马歇尔: 卢森堡 博士 介绍 











了 “ 非 梭 力 沟通 ”的 沟通 方式 ， 依 照 它 来 谈话 和 聆听 ， 不 再 粗暴 地 对 待 他 
人 和 自己 ， 重 塑 我 们 对 冲突 的 积极 思维 方式 ， 打 开 爱 和 理解 的 大 门 ， 增 
强人 与 人 之 间 的 连接 。 这 种 沟通 方式 可 以 非常 有 效 地 帮助 人 们 消除 分 歧 
和 和 争议， 实现 高 效 沟通 。 








第 4 章 ”构建 强大 的 敏捷 测试 基础 设施 











已 、` 韦 
可 
4.9 搭建 4 1 持续 。 ,4 人 1 敏捷 的 目标 
4.9.1 自动 化 测试 框架 的 构成 时 集成 与 持 /4.1.2 持续 集成 中 的 测试 活动 
4.9.2 白 动 化 测试 框架 的 分 类 | 架 及 其 案 续 交 付 意 “1.1.3 持续 交付 中 的 测试 活动 
4.9.3 单元 测试 框架 JUnit 5 例 分 析 味 着 什么 /41.4 持续 集成 + 持续 测试 是 
4.9.4 API 层 的 自动 化 测试 关键 
伺 架 Karate 4.1.5 持续 部 署 
4.9.5 验收 测试 框架 Ginkgo 4.1.6 持续 运 维 





4.8 测试 分 层 策略 与 金字 塔 模型 
4.2.1 支撑 持续 集成 的 
























































4.7.1 代码 分 析 ( 静态 测试 ) 4.2 测试 如 何 “测试 环境 
- 可 内 桩 续 让 什 的 
4.7.2 优秀 的 租 态 测试 工具 信和 自动 的 队 和 人 全 下风 由 二 后 党 织 交付 的 
4.7.3 静态 测试 报告 的 自动 报告 生成 : : 
二 和 与 4.2.3 持续 集成 /持续 交付 
: 灾 > 为 出 证 j 寸 程 
4.7.4 自动 化 测试 报告 的 流水 线 中 的 测试 过 程 
自动 生成 第 4 章 构建 
强大 的 敏捷 测 
| ey 如 但 试 基础 设施 i 过 丽 DevOps 的 测试 
4.6.1 BVT 要 验证 哪些 点 、 完成 个 的 测试 基础 设 让 4.3.2 DevOps 测 试 
4.6.2 不 稳定 的 情况 一 -Flak 构成 基础 设施 
4.3.3 基础 设施 即 代码 
4.5.1 配置 即 代码 一 一 持续 集成 4.3.4 对 基础 设施 进行 
配置 管理 工具 : Ansible、Chef 验证 一 一 Testinfra 
4.5.2 微服 务 的 容器 化 部 团 
4.5.3 微服 务 在 持续 集成 环境 
中 的 自动 化 部 署 4.4.1 虚拟 化 技术 一 一 虚拟 机 
4.5.4 Docker 容 器 的 集群 4.5 如 何 技术 和 容器 技术 
管理 之 Kubernetes 完成 自动 4.4.2 Sidecar 模 式 一 一 容器 
4.5.5 基础 架构 即 代码 的 工具 \ 部 署 4.4 虚拟 ”| 的 设计 模式 
Terraform、 机 技术 与 [4.4.3 虚拟 化 技术 之 NUMA 和 
Cloud Formation 容器 技术 | DPDK 
4.5.6 管道 即 代码 的 工具 一 一 的 应 用 “4.4.4 服务 虚拟 化 的 利器 一 
Concourse、Drone Hoverfly 
4.5.7 新 一 代 的 部 署 体验 4.4.5 Molecule 一 一 虚拟 化 技 
Serverless 软件 系统 架构 术 的 自动 化 测试 工具 
4.5.8 产品 发 布 之 导 流 模式 4.4.6 Kubernetes 与 测试 环境 





测试 基础 设施 是 指 支 持 测试 运行 、 测 试 开 发 、 测 试管 理 ， 以 及 与 研 
发 环境 集成 的 综合 性 平台 。 测 试 基础 设施 作为 贯 罕 整 个 测试 过 程 的 文 
撑 ， 在 敏捷 化 、DevOps 化 的 开发 环境 中 的 地 位 日 益 重 要 。 敏 捷 测 试 离 
不 开 稳定 、 高 效 、 准 确 的 基础 设施 ， 以 满足 对 于 持续 测试 、 持 续 反 馈 的 
需要 。 同 时 ， 持 续集 成 、 持 续 交 付 和 DevOps 环 境 必 须 实现 与 测试 基础 





设施 的 无 颖 集成 ， 才 能 够 满足 软件 在 各 种 环境 中 持续 验证 的 需要 。 本 章 
会 讨论 持续 集成 /持续 交付 环境 中 的 敏捷 测试 、 基 于 DevOps 的 测试 基础 
设施 、 各 种 虚拟 化 技术 、 基 础 设施 即 代 码 ， 以 及 各 类 自动 化 测试 框架 等 
内 容 。 


本 章 涉及 的 持续 交付 、 持 续 部 署 等 概念 ， 针 对 不 同业 务 模式 的 软件 
应 用 来 说 ， 会 有 所 不 同 。 对 于 SaaS 模 式 、 互 联网 模式 的 软件 ， 持 续 交 付 
涵盖 了 从 持续 集成 、 持 续 验 证 (测试 ) 、 持 续 部 着， 到 持续 运 维 的 整个 
过 程 ， 在 交付 频率 上 往往 要 求 一 天 内 多 次 部 着 和 发 布 。 而 对 于 传统 的 面 
器 企业 模式 软件 ， 没 有 持续 部 著 和 持续 运 维 的 需求 ， 持 续 交 付 到 持续 测 
试 就 可 以 了 。 交 付 频 率 也 会 低 得 多 ， 根 据 客户 需求 儿 周 或 几 个 月 交付 一 
个 新 的 版 本 。 本 章 的 讨论 主要 是 针对 SaaS 模 式 的 软件 系统 。 








4.1 ”持续 集成 与 持续 交付 意味 着 什么 


持续 集成 〈continuous integration，CI) 在 1998 年 就 被 列 入 极限 编程 
的 核心 实践 。2006 年 ， 号 丁 - 福 勒 提出 了 比较 完善 的 方法 与 实践 。 通 过 
持续 集成 可 以 让 软件 始终 保持 在 一 个 可 工作 的 状态 。 











持续 集成 是 一 种 软件 开发 实践 ， 即 团队 开发 成 员 经 党 集成 他 们 的 工 
作 ， 通 党 每 个 成 员 每 天 至 少 集成 一 次 ， 这 也 就 意味 着 每 天 可 能 会 及 生 多 
次 集成 。 每 次 集成 都 通过 自动 化 的 构建 (测试 ) 来 验证 ， 从 而 尽快 地 发 
现 集成 错误 。 











一 一 马 本 ` 福 勒 








持续 交付 〈continuous delivery，CD ) 术语 来 自 于 杰 兹 : 享 布 尔 和 戴 
维 .法 利 合 著 的 《持续 交付 : 发 布 可 靠 软件 的 系统 方法 》 一 书 ， 而 这 本 
书 的 书 名 来 源 于 《敏捷 宣言 》 中 12 项 原则 的 第 一 项 : “我 们 的 首要 任务 
是 尽早 持续 交付 有 价值 的 软件 并 让 客户 满意 。” 当 时 这 本 书 中 并 没有 明 
确定 义 什 么 是 “持续 交付 ”。 后 来 享 布 尔 才 给 出 下 面 这 个 相对 明确 的 摘 








持续 交付 是 一 种 能 力 ， 也 就 是 说 ， 能 够 以 可 持续 方式 ， 安 全 、 快 速 
地 把 代码 变更 (包括 特性 、 配 置 、 缺 陷 和 试验 部署 到 生产 环境 上 ， 让 
用 户 使 用 。 








一 一 杰 效 : 享 布尔 


事实 上 ， 对 于 持续 交付 的 概念 ， 以 及 它 和 持续 部 署 、 持 续 发 布 之 间 
的 关系 ， 包 括 享 布尔 在 内 的 专家 们 在 不 同时 期 有 不 同 的 解释 ， 这 里 不 一 
一 列举 。 笔 者 认为 ， 持 续 交 付 关 注 的 是 持续 交付 价值 给 用 户 ， 是 对 持 
续集 成 的 延伸 ， 强 调 从 业务 需求 到 把 价值 交付 到 用 户 手 上 形成 财 环 ; 
持续 集成 天 注 的 是 让 代码 能 够 工作 在 一 起 ， 以 便 开展 进一步 的 测试 。 
在 持续 集成 之 后 ， 软 件 还 需要 经 过 持续 测试 、 持 续 部 车 和 持续 运 维 之 后 





才能 最 终 做 到 把 价值 持续 交付 到 用 户 手 上 。 也 可 以 这 样 说 ， 正 是 持续 交 
付 的 目标 倒台 产生 了 持续 运 维 、 持 续 部 团 、 持 续 测 试 、 持 续集 成 和 持续 
构建 ， 如 图 4-1 所 示 。 









持续 运 维 


持续 构建 中 持续 集成 持续 测试 中 持续 部 署 


图 4-1 持续 交付 





4.1.1 敏捷 的 目标 


根据 《敏捷 宣言 》 的 第 一 项 原则 ， 我 们 可 以 说 ， 敏 捷 的 目标 束 是 要 
做 到 持续 交付 ， 尽 快 回 用 户 交 付 满足 需要 的 、 有 价值 的 软件 。 新 的 功能 
特性 和 代码 变更 只 有 快速 交付 到 客户 手中 才能 实现 价值 ， 没 有 交付 给 客 
户 的 产品 从 业务 角度 来 说 是 没有 价值 的 。 持 续 交 付 以 敏捷 开发 的 快速 迭 
代为 基础 ， 通 过 每 次 小 批量 的 交付 ， 实 现 产 品 从 研发 到 客户 的 快速 流 
动 。 在 Scrum 模 式 下 ， 每 次 迭代 结束 后 会 产生 一 个 可 以 发 布 给 用 尸 的 软 
件 版 本 。 如 果 企 业 的 业务 模式 是 SaaS， 那 么 可 以 像 很 多 先进 的 互联 网 公 
司 一 样 实现 一 天 几 十 次 甚至 更 多 次 的 线 上 部 署 和 发 布 。 





4.1.2 ”持续 集成 中 的 测试 活动 





我 们 经 党 说 质量 要 内 建 在 研发 活动 的 每 一 步 中 ， 也 经 常 说 要 将 质量 


回 源头 推进 。 例 如 ， 在 需求 分 析 时 ， 束 保证 每 一 个 业务 需求 的 正确 性 ; 
在 开发 阶段 ， 束 保证 每 一 段 提交 的 代码 都 符合 规范 和 满足 需求 ， 避 免 缺 
隐 癌 下 一 步 流 动 。 而 要 做 到 这 些 ， 就 必须 通过 各 种 静态 测试 、 动 态 测 试 
活动 为 每 一 项 工作 把 关 。 可 以 说 持续 集成 正 是 秉承 质量 内 建 的 思想 而 发 
展 起 来 的 ， 只 要 开发 人 员 提 交代 码 束 能 触发 对 代码 的 快速 检查 。 因 为 每 
次 提交 的 代码 只 包含 小 批量 的 变更 ， 所 以 发 现 问题 和 解决 问题 的 效率 更 


二 
[= 
Do 








代码 的 一 次 构建 /集成 大 概 包 括 以 下 活动 : 编译 、 测 试 、 打 包 、 部 
署 和 结果 反馈 。 开 发 人 员 从 提交 代码 变更 触发 构建 ， 到 收 到 反馈 所 需 的 
时 间 ， 最 好 在 10 分 钟 内 ， 并 且 整 个 过 程 是 自动 化 的 。 在 传统 的 开发 模式 
中 ， 研 发 团队 几 个 月 后 才能 从 客户 那里 得 到 质量 有 反馈， 开发 人 员 为 目 己 
的 代码 质量 负责 就 是 一 句 空话 ， 因 为 他 早 就 么 了 那些 缺陷 当初 为 什么 入 
引入 了 。 如 果 持 续集 成 中 的 反馈 周期 比较 长 ， 那 么 开发 人 员 早 已 转向 下 
一 个 任务 ， 收 到 结果 后 可 能 也 不 会 立刻 停 下 手头 的 工作 来 处 理 。 


通过 与 自动 化 测试 工具 /框架 的 集成 ， 在 持续 集成 环境 中 ， 可 以 执 
行 几乎 所 有 的 自动 化 测试 ， 但 需要 考虑 持续 集成 中 测试 范围 和 提供 快速 
反馈 之 间 的 平衡 。 一 般 来 说 ， 持 续集 成 中 的 自动 化 测试 活动 应 该 只 包括 
单元 测试 、 代 码 静 态 测 试 和 BVT。 





。 早 元 测试 是 指 对 软件 最 小 可 测试 单元 (函数 或 类 ) 进行 验证 ， 目 的 
征 发 现代 码 底层 的 缺陷 。 单 元 测试 对 外 部 系统 的 依赖 少 ， 运 行 时 间 
通常 在 秒 级 ， 发 现代 码 缺 陷 的 成 本 低 、 效 率 高 ， 敏 捷 开 发 的 研发 团 
队 需 要 对 单元 测试 的 代码 履 兰 率 提出 比较 高 的 要 求 ， 如 80% 以 上 。 











。 代码 的 静态 测试 ， 也 称 静 态 分 析 ， 通 过 静态 分 析 工 具 不 需要 运行 应 
用 程序 就 可 以 对 软件 代码 进行 检查 ， 从 而 发 现代 码 规范 问题 、 结 构 
问题 及 代码 错误 等 。 








。 BVT 用 来 验证 软件 的 基本 功能 古 否 能 正常 工作 。 


在 持续 集成 环境 中 ， 除 上 述 自 动 化 测试 以 外 ， 还 支持 代 人 码 评审 
(code review) 。 尽 管 已 经 有 了 代码 的 静态 测试 ， 代 码 评审 也 是 必要 
的 。 在 团队 中 ， 可 以 采用 互 得 或 者 由 技术 级 别 更 高 的 工程 师 评 审 的 方式 
针对 代码 进行 检查 以 进一步 保证 代码 质量 。 














公司 内 部 通常 会 有 自己 的 代码 版 本 管理 系统 。 在 此 系统 与 持续 集 
成 /持续 交付 调度 管理 工具 集成 后 ， 代 码 提交 后 会 触发 自动 构建 ， 从 代 
码 库 里 自动 拉 取 代码 是 实现 持续 集成 的 基础 。 如 果 引 入 了 代码 评审 机 
制 ， 那 么 当 一 个 程序 员 请 求 把 代码 提交 到 代码 仓库 或 者 请 求 合 并 代码 分 
文 (branch〉 到 主干 (master) 时 ， 代 码 只 有 经 过 指定 人 员 检 查 确认 后 
才能 真正 入 库 或 合并 到 主干 ， 随 后 才 会 触及 自动 构建 和 测试 。 代 码 管 理 
工具 GitHub 提 供 了 Pull Request 特 性 ， 结 合 GitFlow 分 支 俩 略 就 可 以 支持 
在 持续 集成 环境 中 的 代码 评审 。 持 续集 成 流程 大 致 可 以 概括 为 : 为 Pull 
Request 设 置 审批 合并 规则 ; Pull Request 自 动 触发 代码 分 支 上 的 编译 、 
单元 测试 和 代码 静态 分 析 ; 指定 人 员 批 准 主干 代码 合 入 ; 代码 合 入 时 触 
发 主干 的 持续 集成 。 

















代码 评审 不 但 有 助 于 提前 发 现 缺陷 ， 提 高 代码 的 规范 性 ， 而 且 能 促 
进 研 发 团队 的 知识 共 至 。 领 喘 是 全 球 知名 的 职业 社交 网 站 ， 在 这 方面 页 





献 了 非常 优秀 的 实践 经 验 ， 该 公司 的 工程 技术 团队 曾经 开源 了 Kafka 等 
一 系列 流行 技术 。 从 2011 年 开始 ， 这 家 公司 将 代码 评审 作为 必 备 的 开发 
注 程 之 一 ， 每 个 团队 都 使 用 同样 的 代码 评审 工具 和 流程 ， 每 个 工程 师 都 
可 以 评审 其 他 人 的 代码 ， 也 可 以 为 其 他 团队 贡献 目 己 的 代码 ， 到 2017 

年 ， 他 们 累计 完成 了 100 万 次 代码 评审 。 这 种 做 法 在 保证 质量 的 同时 ， 

也 促进 了 各 个 技术 部 门 之 间 的 协作 和 交流 。 





当然 ， 只 从 流程 上 来 保证 代码 评审 是 不 够 的 ， 团 队 是 不 是 认真 地 对 
待 代码 评审 取 雇 于 团队 的 质量 文化 ， 这 就 需要 团队 乐意 主动 地 在 质量 的 
源头 避免 缺陷 的 产生 。 





4.1.3 ”持续 交付 中 的 测试 活动 


持续 交付 中 的 测试 活动 既 包 括 研 发 阶段 的 测试 活动 ， 义 包括 运 维 阶 
段 的 测试 活动 ， 体 现 了 在 敏捷 开发 、DevOps 中 尽早 测试 、 按 需 测 试 、 
频繁 测试 的 持续 测试 的 测试 策略 ， 也 体现 了 软件 生命 周期 中 全 程 软件 测 
试 的 轧 想 。 研 发 阶段 中 的 测试 既 包 括 测试 左 移 中 的 测试 活动 ， 即 需求 评 
审 、 设 计 评 审 和 代码 评审 ， 又 包括 持续 集成 中 的 测试 和 迭代 中 的 各 项 持 
续 测 试 活动 。 运 维 阶段 的 测试 活动 就 古 指 测试 右 移 ， 包 括 生 产 环 境 中 的 
在 线 监控 和 线 上 测试 。 持 续 交 付 中 包含 的 测试 活动 如 图 4-2 所 示 。 我 们 
会 在 第 5 音 和 第 8 章 分 别 讨论 测试 左 移 、 测 试 右 移 。 
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产 I 试 Re 


在 研发 阶段 中 ， 如 果 测 试 只 存在 于 持续 集成 中 ， 那 么 是 很 不 充分 
的 ， 需 要 为 实现 持续 交付 的 目标 开展 更 多 的 持续 测试 活动 。 持 续 测试 包 
含 持续 的 新 功能 的 测试 和 持续 的 回归 测试 ， 既 包括 功能 测试 ， 又 包括 性 

能 测试 、 安 全 测试 和 兼容 性 测试 等 针对 软件 质量 属性 的 非 功能 测试 。 验 
收 测试 指 对 用 户 故 事 的 验收 ， 也 包括 系统 端 到 端的 功能 和 非 功能 的 验 
证 ， 后 者 往往 需要 在 类 生产 环境 中 进行 。 























图 4-2 ”持续 交付 中 的 测试 活动 





持续 测试 不 等 于 自动 化 测试 ， 一 次 迭代 中 的 新 功能 特性 的 测试 采用 
手工 〈 探 索 式 ) 测试 更 高 效 ， 回 归 测 试 尽量 用 目 动 化 的 方式 持续 验证 新 
的 代码 和 功能 ， 不 会 影 啊 正 常 运行 的 原 有 代码 和 功能 。 目 动 化 回归 测试 
可 以 分 为 接口 测试 、UI 测 试 、 性 能 测试 和 兼容 性 测试 等 。 我 们 可 以 把 文 
持 这 些 测试 类 型 的 自动 化 测试 工具 集成 在 持续 集成 /持续 交付 环境 中 ， 
根据 需要 定期 执行 这 些 测 试 集 。 对 于 较 短 的 测试 运行 时 间 ， 一 天 执行 几 
次 ; 对 于 较 长 的 测试 运行 时 间 ， 一 天 执行 一 次 或 者 两 三 天 执行 一 次 。 





用 户 故 事 的 验收 测试 既 可 以 是 手工 测试 ， 又 可 以 通过 自动 化 测试 来 


执行 。 通 过 ATDD/BDD 上 自动 化 测试 框架 与 持续 集成 /持续 交付 环境 的 集 
成 ， 可 以 实现 验收 测试 的 自动 化 。 


在 持续 反馈 原则 里 ， 有 一 个 重要 的 实践 一 一 为 下 游 工作 进行 优化 。 
持续 验证 /测试 的 下 游 工 作 是 持续 部 著 ， 研 发 的 下 游 古 运 维 ， 那 么 怎么 
通过 测试 和 持续 集成 /持续 交付 的 融合 为 持续 部 普 和 运 维 进行 优化 呢 ? 
在 测试 环境 里 ， 通 过 了 所 有 用 户 故 事 的 验收 测试 后 ， 束 尽量 把 对 整个 业 
务 系统 的 验收 测试 “主要 指 全 面 的 回归 测试 〉 放 在 与 生产 环境 尽 可 能 一 
致 的 准 生 产 环境 中 进行 ， 在 持续 集成 /持续 交付 环境 中 尽量 实现 系统 回 
归 测 斌 的 自动化: 通过 自动 化 的 部 署 管道 把 被 测试 系统 部 署 到 准 生 产 环 
境 中 ， 随 后 触发 系统 级 别 的 自动 化 验收 测试 。 





4.1.4 持续 集成 + 持续 测试 是 关键 


持续 集成 和 持续 测试 主要 发 生 在 研发 阶段 ， 测 试 左 移 也 发 生 在 研发 
阶段 ， 它 比 测试 右 移 的 价值 更 大 。 本 着 质量 内 建 的 原则 ， 软 件 的 质量 问 
题 越 早 及 现 ， 修 复 起 来 就 越 容易 ， 研 发 效率 就 越 品 ， 交 付 速 上 度 目 然 就 越 
快 。 无论 是 持续 集成 中 的 测试 还 是 之 后 的 持续 测试 ， 都 可 以 认为 是 按 需 
测试 ， 目 的 是 对 新 的 代码 变更 、 新 的 功能 特性 和 新 的 软件 版 本 尽快 提供 
质量 反馈 ， 并 且 能 够 与 持续 集成 /持续 交付 工具 进行 集成 ， 实 现 高 水 平 
的 测试 上 自动化。 因此， 持续 集成 和 持续 测试 是 整个 持续 交付 过 程 的 关键 
所 在 。 











持续 集成 保证 我 们 随时 获取 可 工作 的 软件 并 进一步 开展 深入 测试 。 





现在 不 少 公司 还 在 采用 每 日 构建 (daily build， 每 天 一 个 新 版 本 ) 的 方 
式 ， 严 格 来 说 ， 这 不 是 持续 集成 。 理 想 的 持续 集成 是 : 开发 人 员 提 交代 
码 就 会 触发 自动 构建 ， 一 天 构建 多 次 。 但 如 果 每 天 构建 一 个 新 版 本 ， 则 
构建 和 测试 可 以 放 在 夜里 完成 ， 在 这 种 情况 下 ， 对 一 次 持续 集成 在 时 间 
上 的 要 求 也 没有 那么 苛刻 ， 因 此 可 以 把 更 多 的 测试 内 容 〈 脚 本 ) 加 入 集 
成 过 程 中 。 





微软 公司 在 20 世 纪 80 年 代 开 发 Office 产 品 时 就 开始 使 用 每 日 构建 这 
种 工程 实践 ， 冒 烟 测试 的 概念 也 是 微软 提出 来 的 。 不 过 ， 微 软 从 2007 年 
就 开始 答 试 敏捷 转型 ， 从 2014 年 开始 逐步 将 自己 的 IT 系统 迁移 到 自家 的 
公有 云 Azure 上 。 到 2017 年 ， 超 过 4000 名 Windows 开 发 人 员 每 天 都 要 进 
行 超过 1760 次 构建 ， 提 交代 码 就 会 触发 单元 测试 以 及 集成 测试 的 自动 运 
1 

随 着 版 本 的 不 断 更 新 ， 模 块 、 功 能 和 用 户 故 事 不 断 增加 ， 我 们 需要 
不 断 测试 新 的 代码 、 新 的 用 户 故 事 和 新 的 功能 ， 最 后 覆盖 业务 端 到 端的 
测试 ， 以 及 性 能 、 安 全 等 测试 。 通 过 这 样 的 持续 测试 ， 软 件 产品 持续 地 
接近 并 最 终 满足 交付 的 功能 需求 和 质量 目标 。 


4.1.5 ”持续 部 半 








持续 部 署 就 是 按 需 部 署 (on-demand deployment) ， 强 调 通 过 技术 
手段 ， 随 时 随地 、 人 快速 地 将 软件 包 部 署 到 各 类 环境 中 ， 并 确保 系统 可 以 
正常 工作 。 这 不 但 包括 面 癌 生产 环境 的 部 晋 ， 而 且 包 括 面 问 测试 环境 和 








准 生 产 环 境 的 部 普 ， 因 此 这 是 持续 交付 的 必然 需求 。 软 件 通 过 了 持续 集 
成 的 验证 ， 人 
持续 验证 ， 通 过 持续 验证 的 软件 应 用 需要 频繁 地 部 绪 到 生产 环境 中 、 友 
a 
可 以 次 ， 是 持续 交付 倒 融 我 们 实现 持续 部 署 。 








持续 部 车 强调 软件 部 署 在 技术 上 的 目 动 化 ， 能 够 文 持 在 各 类 环境 中 
快速 、 频 么 地 进行 安装 、 升 级 。 这 离 不 开 上 自动化 部 效 管 道 的 建设 ， 持 续 
集成 /持续 交付 的 部 署 管道 在 一 个 流水 线 脚 本 中 可 以 文 持 面 癌 各 种 环境 
的 部 署 需 求 。 软 件 每 一 次 变更 都 可 以 经 过 一 个 部 车 省 道 自动 推送 到 目标 
环境 中 ， 研 发 团队 需要 确保 每 次 更 新 代码 时 它 都 能 在 目标 环境 中 顺利 工 
作 。 在 理想 情况 下 ， 从 开发 人 员 提 交代 码 触 发 持续 集成 到 持续 测试 ， 再 
到 持续 部 轩 ， 整 个 过 程 是 全 自动 化 的 方式 ， 这 将 加 快 新 功能 或 缺陷 修复 
上 线 的 速度 ， 保 证 新 的 功能 特性 和 修复 能 够 第 一 时 间 部 署 、 友 布 到 生产 
环境 被 用 户 使 用 。 














4.1.6 ”持续 运 维 


新 的 软件 经 过 部 署 管道 持续 部 署 到 各 类 目标 环境 中 ， 持 续 交 付 的 使 
还 没有 完成 ， 还 需要 持续 地 对 目标 环境 中 的 业务 系统 进行 维护 ， 这 包 
Rs nt 主动 发 现 系 统 运行 异常 并 进 
行 故障 告警 ， 快 速 定 位 并 修复 故障 ， 确 保 业 务 系统 平稳 运行 。 必 外 ， 在 
生产 环境 中 ， 也 需要 持续 地 收集 线 上 用 户 数 据 和 用 户 反 馈 ， 为 软件 的 持 


续 改 进 提供 依据 。 这 一 过 程 称 为 持续 运 维 (continuous operation ) 。 持 





续 运 维 也 应 该 实现 全 目 动 的 监控 、 告 警 、 故 障 定位 和 目 愈 ， 以 及 目 动 的 
数据 收集 、 分 析 和 处 理 。 到 了 这 里 ， 持 续 交 付 才 真 正 形成 闭环 。 


持续 部 闭 和 持续 运 维 作为 打通 研发 和 运 维 的 关键 活动 ， 不 但 发 生 在 
生产 环境 ， 而 且 文 持 研 发 环境 中 的 部 普 和 运 维 ， 因 此 其 贯穿 于 整个 软件 
生命 周期 的 持续 交付 活动 中 。 


4.2 测试 如 何 融 入 持续 集成 /持续 交付 环境 


持续 集成 与 持续 交付 过 程 中 包含 了 众多 的 测试 活动 ， 虽 然 每 一 项 测 
试 活动 不 见得 都 以 目 动 化 的 方式 来 执行 ， 比 如 每 次 沈 代 中 新 功能 的 测试 
采用 探索 式 测试 更 高 效 ， 代 码 静 态 扫描 不 能 完全 代替 人 工 评 审 ， 但 测试 
目 动 化 的 建设 在 整个 持续 交付 中 仍然 非常 重要 。 只 有 实现 高 度 的 测试 自 
动 化 ， 软 件 测试 才 不 会 成 为 持续 交付 的 瓶颈 。 








4.2.1 文 撑 持 续集 成 的 测试 环境 


民 好 的 持续 集成 环境 能 够 支持 代码 的 自动 构建 、 自 动 部 署 、 目 动 验 
证 和 上 自动 反馈 。 如 图 4-3 所 示 。 
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图 4-3 ”持续 集成 环境 基本 构成 示意 图 


因此 ， 持 续集 成 环境 需要 强大 的 工具 链 的 支持 。 持 续集 成 环境 需要 

的 工具 可 以 分 为 8 类 ， 分 别 是 : 代码 版 本 管理 工具 、 版 本 构建 工具 、 持 

续集 成 调度 工具 、 自 动 部 署 工 具 、 配 置 管理 工具 、 代 码 静态 分 析 工 具 、 

单元 测试 工具 和 版 本 验证 工具 。 如 图 4-4 所 示 列 出 了 每 一 类 中 比较 常用 

的 几 种 工具 。 其 中 的 测试 工具 有 3 类 : 代码 静态 分 析 工 具 、 单 元 测试 工 
有 具 和 版 本 验证 工具 。 











" 
广 | 代码 版 本 管理 工具 | GitHub、GitLab、BitBucket 和 SubVersion 等 














版 本 构建 工具 。 [一 Anit、Gradle 和 Maven 等 














Cl 调度 工具 —1 Jenkins 、BuildBot、Bamboo、Fabric 和 CircleCl 等 
局 








r 
自动 部 署 工具 ”一 Capistrano、CodeDeploy、Superviso 和 Forever 等 
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配置 管理 工具 [一 Ansible、Bash、Chef、Cfengine、Puppet 和 Ruddler 等 
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单元 测试 工具 fj Junit、CppUnit、Mocha、PyUnit 























版 本 验证 工具 oo Selenium、Appium 等 
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图 4-4 ”持续 集成 工具 集 


4.2.2 ” 文 撑 持 续 交 付 的 测试 环境 


与 上 一 市 相同 ， 这 里 只 讨论 研发 阶段 持续 交付 的 测试 环境 ， 运 维 阶 
段 的 测试 环境 放 在 第 8 半 介 绍 。 持 续 交 付 环 境 是 在 持续 集成 环境 的 基础 
上 进行 扩展 ， 主 要 是 为 了 支持 全 面 的 回归 测试 、 验 收 测试 。 与 持续 集成 
环境 相 比 ， 持 续 交 付 环 境 中 可 以 集成 的 目 动 化 测试 框架 和 工具 的 种 类 更 
多 。 


按照 自动 化 测试 金字 塔 ， 自 动 化 测试 可 以 按照 不 同 层次 进行 划分 : 
单元 测试 、API 测 试 和 UI 测 试 。 


。 单元 测试 框架 包括 JUnit、CppUnit、Mocha、PyUnit 等 。 
。 API 测 试 工具 包括 Cypress、Karate、Postman 及 REST-Assured 等 。 
。 UTI 测 试 框架 包括 Selenium、Appium、Cypress 和 Geb 等 。 


另外 ， 我 们 也 可 以 按 功 能 测试 、 性 能 测试 和 安全 测试 等 维度 来 分 
类 ， 支 持 功 能 测试 的 自动 化 框架 有 Selenium、Appium 等 ; 支持 性 能 测试 
的 目 动 化 框架 有 JMeter、Gatling 等 ; 文 持 安全 测试 的 自动 化 框架 有 
Wapiti、OWASP ZAP 等 。 


验收 测试 的 自动 化 测试 框架 推荐 选择 支持 ATDD、BDD 和 需求 实例 
化 的 测试 框架 ， 如 Robot Framework、Cucumber 等 。 


4.2.3 ”持续 集成 /持续 交付 流水 线 中 的 测试 过 程 


对 于 复杂 的 软件 系统 ， 需 要 在 持续 集成 /持续 交付 环境 中 搭建 一 套 
完整 的 自动 化 测试 平台 。 上 自动 化 测试 平台 是 软件 测试 基础 设施 的 核心 ， 
不 但 文 持 自动 化 测试 的 执行 ， 而 且 文 持 其 他 的 测试 服务 ， 包 括 测试 脚本 
的 开 有 发， 测试 资源 的 调度 及 管理 ， 测 试 数据 的 管理 服务 ， 以 及 测试 报告 
的 生成 及 管理 等 ， 如 图 4-5 所 示 。 
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图 4-5 “持续 集成 /持续 交付 环境 中 的 自动 化 测试 平台 


持续 集成 /持续 交付 环境 中 的 代码 版 本 管理 系统 (如 GitHub〉 用 来 
统一 管理 产品 代码 、 测 试 平 侣 /工具 代码 、 目 动 化 测试 脚本 和 持续 集成 
持续 交付 流水 线 脚 本 等 。 


持续 集成 /持续 交付 调度 管理 工具 ， 如 Jenkins 2.x， 可 以 实现 持续 交 
付 流水 线 从 版 本 控制 到 研发 环境 、 生 产 环境 部 署 的 自动 化 过 程 。 


现在 就 以 Jenkins Pipeline 为 例 ， 描 述 一 个 目 动 化 测试 平台 在 持续 集 
成 /持续 交付 环境 中 发 起 测试 的 过 程 。 


1) 在 Jenkins Pipeline 中 ， 指 定 要 执行 的 持续 集成 /持续 交付 流水 线 


脚本 (pipeline script) 的 存储 位 置 。 





2) 在 Jenkins 流 水 线 脚 本 《〈 见 图 4-5) 发 起 构建 请 求 后 ， 对 指定 代码 
仓库 的 指定 分 支 上 的 代码 进行 编译 、 测 试 和 打包 。 


3) 持续 集成 /持续 交付 流水 线 脚 本 发 起 请 求 下 载 指定 的 测试 脚本 集 
到 一 个 Jenkins Node， 通 第 也 是 测试 的 执行 环境 。 


4) 持续 集成 /持续 交付 流水 线 脚 本 发 起 部 署 请 求 ， 目 动 化 测试 平台 
的 资源 调度 与 管理 服务 找到 可 用 的 被 测 系统 资源 ， 下 载 指定 的 软件 包 进 
行 部 嗜 。 


5) 持续 集成 /持续 交付 流水 线 脚 本 发 起 测试 执行 请 求 。 





6) 如 果 测 试 执行 环境 比较 复杂 ， 则 需要 搭建 测试 执行 的 集群 环 
， 测 试 执行 模块 会 调用 资源 调 虐 与 管理 模块 分 配 、 配 置 测 试 执行 环 


器 关 


7) 测试 脚本 调用 测试 数据 管理 模块 获取 测试 数据 、 执 行 测试 。 


8) 测试 执行 完毕 ， 目 动 化 测试 平台 分 析 测 试 结果 ， 生 成 测试 报 
， 报 告 可 以 提交 给 统一 的 平台 来 整体 呈现 。 


ely 


9) 在 持续 集成 /持续 交付 流水 线 脚 本 里 ， 指 定 测试 报告 的 邮件 接收 
人 人 名单， 测试 结束 后 以 邮件 形式 发 送 报告 。 


持续 集成 /持续 交付 流水 线 脚 本 示例 如 下 。 


JENKINS CREDENTIAL ID = " 
EMAIL_LIST = " 
SLAVE NODE = " 
node(SLAVE NODE) { 


def mvnHome 


stage ( 'git checkout SW source codes') { 
checkout([$class:'GitSCM' ,branches:[[name:'*/master']],...]) 


} 
stage ( 'maven Build'){ 
echo "maven build 


} 
stage 


} 
stage 


} 
stage ('test') { 
sh "gradle clean test --tests ..." 





4.3 ”基于 DevOps 的 测试 基础 设施 构成 


2009 年 6 月 ， 在 美国 葵 何 赛 举 办 的 第 2 届 Velocity 大 会 上 ， 题 为 《每 
天 部 晋 10 项 以 上 : 了 Flickr 的 Dev 和 Ops 合 作 》 (“10+ Deploys Per Day: Dev 
and Ops Cooperation at Flickr”) 这 个 演讲 成 为 DevOps 开 始 被 业界 引用 的 
标志 性 事件 。 


最 初 ，DevOps 被 定义 为 一 组 用 于 促进 开发 、 运 维和 质量 保证 部 门 
之 间 沟 通 、 协 作 与 整合 的 解雇 方案 〈 见 图 4-6) ， 它 强调 自动 化 软件 交 
付 和 基础 设施 变更 的 过 程 ， 以 帮助 组 织 快速 、 频 繁 和 可 靠 地 发 布 软件 ， 


并 提高 软件 的 操作 性 能 和 质量 。 
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图 4-6 ”DevOps 示 意图 


后 来 ，DevOps 被 视 为 敏捷 的 自然 延伸 ， 从 研发 周期 问 右 扩展 到 部 
普 、 运 维 ， 不 仅 打通 研发 的 “需求 、 开 发 与 测试 ?各 个 环节 ， 还 打破 
了 “研发 "与 “ 运 维 ? 之 间 的 壁垒 。 在 软件 构建 、 集 成 、 测 试 、 发 布 、 部 嗜 
和 基础 设施 管理 中 ， 大 力 提倡 自动 化 和 监控 ,构建 了 贯穿 产品 研 有 发 、 交 
付 、 部 署 和 运 维 等 完整 生命 周期 的 工具 链 。DevOps 的 目标 是 缩短 软件 
开发 周期 ， 增 加 部 署 频率 ， 实 现 可 靠 的 发 布 。 敏 捷 的 目的 是 为 了 软件 的 
持续 交付 ， 而 DevOps 能 够 更 好 地 实现 持续 交付 。 











如 果 说 敏捷 开发 模式 是 推倒 “开发 ”与 “测试 "之 间 那 墙 无 形 的 墙 ， 
DevOps 就 推倒 了 整个 “研发 "与 “ 运 维 ”之 间 无 形 的 墙 。 因 此 ， 这 里 
的 “Dev” 涵 盖 了 整个 研发 ， 包 括 开发 、 测 试 和 产品 等 角色 。 笔 者 个 人 认 
为 : 不 存在 TestOps， 最 好 也 不 要 用 DevQAOps 和 DevSecOps。 因 为 之 
前 质量 保证 、 安 全 性 等 内 容 也 融 于 Dev 和 Operation， 并 不 是 Dev 或 者 
Operation 之 前 没有 质量 保证 或 安全 ， 只 是 Dev 和 Operation 之 间 打 通 了 ， 
质量 保证 和 安全 性 自然 也 从 原来 的 “贯穿 整个 软件 研发 生命 周期 ”转换 





到 “贯穿 整个 软件 生命 周期 ”， 所 以 不 能 将 测试 、 质 量 保证 和 安全 性 从 
DevOps 中 分 离 出 来 ， 而 且 测试 和 开发 也 不 能 隔离 开 来 。 





下 面 束 是 围绕 这 样 的 概念 和 理解 来 讨论 基于 DevOps 的 测试 基础 设 


DevOps 的 另 一 个 核心 点 就 是 妃 求 软件 全 生命 周期 的 自动 化 ， 即 在 
原来 自动 化 构建 、 自 动 化 集成 的 基础 上 进行 自动 化 部 署 、 自 动 化 运 维 、 
目 动 化 收集 和 分 析 用 户 的 反馈 等 ， 从 而 实现 自动 化 的 闭环 。 








其 中 ， 目 动 化 测试 仍然 是 重要 的 一 环 ， 只 是 不 再 局 限于 研发 环境 的 
自动 化 测试 ， 它 涵盖 了 部 署 验 证 、 和 生产 环 境 设置 验证 ， 以 及 在 线 测试 与 
监控 的 自动 化 实现 ， 即 通常 所 说 的 “测试 右 移 >。 如 果 这 部 分 验证 和 测试 
跟 不 上 ， 训 试 就 将 成 为 DevOps 的 瓶 琉 ， 系 统 运 维 藉 会 存在 极 大 风险 ， 
而 我 们 知道 ， 运 维 质量 对 用 户 的 影响 更 为 直接 和 重要 。 














4.3.1 DevOps 的 测试 


DevOps 的 测试 和 非 DevOps 的 测试 有 什么 区 别 ? 


如 果 没 有 DevOps， 那 么 敏捷 只 做 到 了 持续 集成 /持续 交付 ， 从 产品 
概念 和 定义 开始 到 产品 交付 过 程 中 可 以 做 到 持续 交付 。 而 如 果实 施 了 
DevOps， 就 意味 肴 回 运 维 延伸 ， 对 SaaS 这 类 软件 服务 非常 有 利 ， 意 味 
大 真 正 可 以 形成 闭环， 如 图 4-7 所 示 。 





虽然 在 2005 年 还 没有 DevOps 概 念 ， 但 由 于 WebEx、SalesForce 等 公 


司 就 是 为 SaaS 而 生 的 ， 从 成 立 那天 起 就 拥有 了 “软件 即 服 务 ” 的 基因 ， 因 
此 这 些 公 司 目 然 会 更 早 地 实施 现在 才 流行 的 DevOps 实 践 。 








从 图 4-7 可 以 看 出 ， 交 付 之 后 ， 在 测试 方面 还 有 许多 工作 要 做 ， 包 
括 下 面 的 内 容 。 





。 在 线 测试 ， 如 易 用 性 A/B 测 试 〈 类 似 于 “ 监 绿 部 晋 ") 、 性 能 测试 
《图 4-7 中 的 性 能 基准 度量 ) 、 安 全 性 监测 和 可 靠 性 测试 《如 在 线 
故障 注入 : 混沌 工程 ) 等 。 


部 署 验证 ， 类 似 构 建 持续 集成 验证 所 执行 的 BVT， 但 这 里 侧重 验证 
部 团 和 设置 是 否 正确 。 








灾 备 的 在 线 演练 ， 虽 然 这 样 的 演练 风险 比较 大 ， 但 需要 找到 一 个 特 
定 的 时 间 盒 ， 验 证 系统 是 否 上 其 有 故障 转移 能 力 ， 能 否 达 到 高 可 用 








。 客户 有 反馈 分 析 ， 包 括 在 线 客户 反馈 的 数据 分 析 、 系 统 后 台 的 日 志 分 














授权 、 野 能 ， 


持续 改进 


汪 章 80 里 语 尘 

















图 4-7 ”在 2005 年 设计 的 软件 研发 与 运 维 质量 保证 全 流程 图 











虽然 这 里 没有 提 到 灰 度 有 发布“ 类 似 的 概念 还 有 " 金 丝 省 及 布 ? 等 ) ， 
但 从 流量 的 万 分 之 一 、 干 分 之 一 开始 逐步 扩大 产品 分 发 〈 部 赣 ) 的 范 
， 也 相当 于 让 用 户 帮 和 忙 做 测试 ， 属 于 过 去 的 Alpha 测 试 和 Beta 测 试 的 
概念 。 在 敏捷 中 ， 我 们 只 是 希望 这 样 的 过 程 更 快 、 更 持续 ， 如 做 到 一 键 
部 壮 、 一 键 回 深 等 。 





4.3.2 ”DevOps 测 试 基础 设施 


在 了 解 了 DevOps 模 式 下 增加 的 测试 工作 之 后 ， 我 们 是 否 可 以 接 
受 “ 生 产 环 境 ” 成 为 测试 基础 设施 的 一 部 分 ， 甚 至 是 最 重要 的 一 部 分 ? 





在 DevOps 模 式 下 ， 我 们 将 测试 环境 从 研发 的 持续 集成 /持续 交付 环 
境 扩展 到 准 生 产 环境 ， 甚 至 生产 环境 ， 从 而 构成 一 个 贯穿 研发 和 运 维 的 
完整 的 DevOps 测 斌 基础 设施 。 





在 4.2.1 市 中 ， 已 经 介绍 了 持续 集成 /持续 交付 环境 中 的 8 类 工具 ， 基 
本 宪 盖 了 日 第 测试 工作 中 会 遇 到 的 各 类 工具 。 如 果 我 们 构造 上 述 的 
DevOps 测 试 基础 设施 ， 那 么 这 些 工具 自然 还 不 够 ， 因 为 环境 的 基础 染 
构 和 规模 都 会 发 生 较 大 的 变化 ， 环 境 中 也 存在 大 量 的 用 户 数据 和 系统 运 
行 日 志 ， 而 且 线 上 测试 需要 谨慎 ， 往 往 采 用 被 动 方式 做 测试 ， 即 进行 监 
控 ， 收 集 数 据 进行 分 析 来 发 现 问 题 。 














在 DevOps 环 境 中 ， 测 试 基础 设施 构建 的 重点 在 于 如 何 有 效 地 管理 
测试 数据 (包括 系统 运行 日 志 〉 ， 以 及 监控 系统 运行 状态 、 性 能 ， 并 基 
于 大 数据 和 人 工 知 能 等 技术 进行 分 析 ， 以 获得 系统 的 可 靠 性 、 性 能 和 用 
户 体验 的 信息 。 发 现 这 方面 的 问题 并 进行 系统 优化 ， 这 其 实 也 是 
DevOps 的 价值 所 在 。 








根据 上 述 内 容 ， 我 们 在 持续 集成 /持续 交付 环境 的 基础 上 再 增加 8 类 
工具 〈 加 起 来 共 16 类 工具 ) ， 这 些 工 具 均 是 从 软件 测试 的 角度 需要 熟悉 
和 掌握 的 。 


。 基础 架构 类 ， 如 CloudFormation、OpenStack 等 。 
。 容 右 类 工具 ， 如 Docker、Rocket 和 ElasticBox 等 。 


。 资源 编排 管理 工具 ， 如 Kubernetes (k8s) 、Apache Mesos 和 Swarm 
等 


。 微服 务 平 台 ， 如 OpenShift、Cloud Foundry 和 Mesosphere 等 。 


。 日志 管理 ， 如 Elastic Stack (ElasticSearch、Logstash、Kibana 和 


Beats) 、Logentries 和 Splunk 等 。 


。 系统 监控 、 和 警告 与 分 析 ， 如 Prometheus、Icinga 2、Nagios Core、 
Zabbix、Cacti 和 Zookeeper 等 。 


。 人 性 能 监 


能 监控 ， 如 AppDynamics、Datadog、Dynatrace、New Relic、 
CollectD 和 StatsD 等 。 


e。 知识 管理 和 沟通 协作 类 了 工具， 如 MediaWiki、Confluence 和 Zoom 


机 
等 。 


在 DevOps 中 ， 配 置 也 需要 验证 ， 因 此 Puppet 和 Chef 分 别 使 用 RSpec- 
puppet 和 Test Kitchen 作 为 各 目的 测试 框架 支持 其 配置 的 验证 。 下 面 是 
RSpec-puppet 测 试 脚本 的 一 个 简单 示例 。 


context 'with compress => true' do 
let(:params) { {'compress' => true} } 


it do 
is expected.to contain file('/etc/logrotate.d/nginx') \ 
.With content(/^\s*compress$/) 
end 
end 


context 'with compress => false' do 
let(:params) { {'compress' => false} } 


it do 
is expected.to contain file('/etc/logrotate.d/nginx') \ 
.With content(/^\s*nocompress$/) 
end 
end 





4.3.3 ”基础 设施 即 代 码 


在 当前 的 测试 基础 环境 中 ， 一 些 人 硬件 已 被 “ 云 资 源 ” 的 概念 所 代替 ， 
以 物理 基础 架构 实现 “ 云 化 ”如 同 我 们 篆 说 的 “软件 定义 人 硬件 >) 。 按 
AWS (Amazon Web Services， 亚 马 逊 云 计算 、 云 平台 服务 ) 术语 来 


说 ， 它 们 可 以 是 EC2 实 例 、 钠 载 均衡 器 、Lambda 函 数 和 S3 存 储 桶 等 资 





因为 使 用 工具 进行 手工 操作 必然 会 成 为 快速 部 署 和 运 维 配置 等 步骤 
的 瓶颈 ， 所 以 “基础 设施 即 代 码 ”(infrastructure as code，IaC) 这 个 概念 
被 提出 来 ， 将 基础 设施 以 配置 文件 的 方式 纳入 版 本 管理 ， 实 现 更 灵活 和 
更 快捷 的 操作 。 这 种 通过 类 似 代码 的 方式 ， 自 动 地 完成 所 有 运 维 操作 ， 
也 可 以 理解 成 一 切 皆 为 API， 如 图 4-8 所 示 。 





管理 监控 平台 





制定 统一 的 RFSTful 接 口 
告警 数据 日 志 数 据 配置 数据 | 日 志 数 据 


统一 的 数据 采集 平台 




































图 4-8 ”基于 统一 的 RESTful 接 口 实现 测试 平台 的 管理 





为 了 区 分 普通 的 持续 集成 /持续 交付 工具 ， 可 以 将 这 种 TaC 类 工具 的 
特征 概括 为 以 下 3 反 。 





。 版 本 控制 这 显然 是 将 基础 结构 、 配 置 、 容 器 和 管道 持久 化 作为 代 
码 最 重要 的 部 分 。 因 为 这 种 工具 的 配置 文件 应 具有 可 读 性 和 版 本 控 
制 性 的 语法 ， 所 以 不 能 采用 大 型 虚拟 机 镜像 那样 的 二 进 制 文件 。 





。 模块 化 : 最 好 的 代码 是 可 复 用 的 ， 因 此 ， 文 持 “ 模 块 化 ”的 工具 也 要 
具备 复 用 性 ， 而 且 能 实现 模块 的 参数 化 。 


可 实例 化 或 可 部 著 : 这 种 工具 必须 能 够 将 代码 ( 它 可 以 是 管道 、 配 
置 的 实例 、 容 器 或 对 云 基础 架构 的 更 改 ) 输入 并 部 署 到 环境 中 ， 这 
样 的 工具 必须 是 纯 脚 本 的 ， 而 且 是 全 自动 的 ， 不 需要 手工 操作 或 配 
下 





从 这 个 角度 来 过 滤 工 具 ， 只 有 下 列 这 些 工 具 符 合 IaC 类 工具 。 











“基础 架构 即 代 码 ? 工 具 ， 适 用 于 基础 架构 流程 ， 如 Terraform、 


CloudFormation 等 。 


“配置 即 代码 ”工具 ， 用 于 配置 管理 ， 有 Chef、Puppet、Ansible 和 
SaltStack。 


“容器 即 代 码 ” 工 具 ， 用 于 应 用 程序 容器 化 ， 如 Docker、Kubernetes 
全 
二 于 。 


“管道 即 代码 ?工具 ， 用 于 持续 集成 和 持续 交付 ， 如 Drone 和 


本 
Concourse 等 。 


下 文 会 分 别 介绍 上 述 这 几 类 工具 。 下 面 我 们 就 以 Testinfra 工 具 为 
例 ， 讨 论 如 何 针对 基础 设施 进行 验证 。 


Testinfra 





4.3.4 对 基础 设施 进行 验证 








Testinfra 是 一 个 功能 强大 的 库 ， 可 用 于 编写 测试 以 验证 基础 设施 的 
状态 。 为 了 提高 测试 基础 设施 的 运 维 效率 ，Testinfra 和 Molecule、 
Serverspec 等 类 似 ， 可 以 通过 与 工具 无 关 的 描述 方式 来 验证 基础 设施 的 
正确 性 ， 并 能 与 Ansible、Nagios 或 unittest 集 成 。 这 样 ， 基 于 Testinfra 这 
类 工具 的 自动 化 测试 (如 直接 从 Nagios 主 控 节点 上 运行 测试 ) ， 不 但 是 
流行 的 系统 监控 解决 方案 ， 能 够 及 时 捕获 意外 并 触发 监控 系统 上 的 警 
报 ， 而 且 能 实现 IaC 验 证 的 解决 方案 。 








Testinfra 可 以 在 使 用 Molecule 开 发 Ansible 角 色 过 程 中 添加 测试 关键 
组 件 ， 也 可 以 与 虚拟 机 管理 工具 Vagrant、 持 续集 成 工具 Jenkins/Test 
Kitchen 等 集成 ， 轻 松 完成 DevOps 模 式 下 的 全 自动 化 流水 线 式 的 验证 。 
下 面 是 一 个 简单 的 Testinfra 脚 本 示例 。 


import testinfra 


def test same passwd(): 


a = testinfra.get host("ssh://a") 
b = testinfra.get host("ssh://b") 
assert a.file("/etc/passwd").content == b.file("/etc/passwd").content 





在 这 里 ，Testinfra 连 接 SSH 服 务 器 ， 还 可 以 增加 配置 和 壬 份 识别 ， 
示例 如 下 。 


$ py.test --ssh-config=/path/to/ssh config --hosts="'ssh://server' 


$ py.test --ssh-identity-file=/path/to/key --hosts='ssh://server' 
$ py.test --hosts='ssh://server?timeout=66&controlpersist=120' 





如 末 未 通过 -ssh-identity-file 标 志 提 供 SSH 吴 份 文件 ， 那 么 Testinfra 将 
尝试 使 用 ansible_ssh_private_key_file 和 ansible_private_key_file， 并 使 用 
具有 ansible_ssh_pass 变 量 的 ansible_user 确 保安 全 地 进行 连接 。Testinfra 


还 为 Ansible 提 供 了 可 用 于 测试 的 API， 这 使 得 我 们 能 够 在 测试 中 运行 
Ansible 动 作 ， 并 且 能 够 轻松 地 检查 动作 的 状态 ， 如 可 以 报告 Ansible 远 
程 主机 上 执行 动作 时 所 发 生 的 变化 。 


def check_ansible play(host): 


Verify that a package is installed using Ansible 
package module 





assert not host.ansible("package", "name=httpd state=present")["changed"] 


Testinfra 可 以 连接 Docker， 示 例如 下 。 





$ py.test --hosts='docker://[user@]container id or_name' 


下 面 的 代码 展示 了 Testinfra 支 持 脚 本 参数 化 的 处 理 过 程 。 


import pytest 


@pytest.mark.parametrize("name,version",[ 
("nginx", "1.6"), 
("python", "2.7"), 

]) 

def test packages(host, name, version): 
pkg = host.package(name) 
assert pkg.is installed 
assert pkg.version.startswith(version) 





同时 ，Testinfra 支 持 与 单元 测试 框架 (如 unittest〉 集成， 脚本 示例 
如 下 。 





import unittest 
import testinfra 


class Test(unittest.TestCase): 


def setUp(self): 
self.host = testinfra.get host("paramiko://root@host") 


def test nginx config(self): 
self.assertEqual(self.host.run("nginx -t").rc, 6) 


def test nginx_ servie(self): 
service = self.host.service("nginx") 
self.assertTrue(service.is running) 
self.assertTrue(service.is enabled) 


if name == ”main ”: 
unittest.main() 





4.4 ”虚拟 机 技术 与 容 右 技术 的 应 用 


测试 基础 设施 的 搭建 离 不 开 计 算 资源 的 支持 。 测 试 基 础 设施 越 庞 
大 ， 对 计算 资源 的 需求 就 越 高 。 早 期 的 计算 资源 指 的 是 物理 上 的 主机 服 
务 器 、 网 络 或 存储 硬件 设备 ; 早期 的 测试 环境 是 搭建 在 一 个 个 物理 机 器 
上 的 ， 在 测试 过 程 中 ， 如 果 怀 疑 测试 环境 有 问题 ， 就 需要 从 头 安装 一 
遍 ;， 在 测试 中 发 现 了 缺陷 ， 常 常 需要 在 另 一 套 测 试 环 境 里 重新 执行 一 
遍 ， 以 解决 环境 不 一 致 带 来 的 问题 ， 因 为 手工 安装 方式 容易 带 来 不 一 臻 
性 的 问题 。 











为 了 执行 功能 的 兼容 性 测试 ， 则 需要 在 几 台 机 器 上 安装 不 同 的 操作 
系统 ， 耗 费 不 少时 间 。 如 果 做 性 能 测试 ， 就 需要 把 系统 部 署 到 多 台 机 器 
上 。 这 样 束 要 在 每 台 机 器 上 进行 安装 和 维护 ， 更 加 耗 时 、 耗 力 。 





如 今 的 计算 资源 可 以 通过 虚拟 化 技术 进行 “ 云 化 ”， 即 将 实体 资源 
(如 CPU、 内 存 、 便 盘 和 网 络 等 抽象 成 数字 的 资源 或 逻辑 的 资源 ， 用 
户 可 以 用 更 好 的 组 态 方式 来 使 用 这 些 资源 ， 使 资源 的 分 配 、 获 取 与 管理 
更 高 效 。 现 在 各 种 虚拟 化 技术 在 测试 中 的 应 用 越 来 越 广泛 。 


4.4.1 虚拟 化 技术 一 一 虚拟 机 技术 和 容 磊 技术 


相 比 物理 机 服务 器， 虚拟 机 技术 的 出 现 是 一 个 很 大 的 进步 。 虚 拟 机 
技术 在 原 有 的 硬件 和 软件 之 间 增 加 了 一 层 软件 ， 其 核心 是 
Hypervisor〈 分 层 应 用 程序 、 虚 拟 层 ) ， 对 硬件 资源 进行 模拟 ， 模 拟 的 
硬件 平台 又 提供 了 对 物理 硬件 的 访问 。 当 服务 器 启动 并 执行 Hypervisor 
时 ， 它 会 给 每 一 个 虚拟 机 分 配 适 量 的 内 存 、CPU、 网 络 资源 和 磁盘 容 
量 ， 并 加 载 所 有 虚拟 机 的 客户 操作 系统 guest OS) 。 


每 个 虚拟 机 由 一 组 虚 化 设备 构成 ， 各 个 虚拟 机 之 间 的 资源 是 相互 隔 
离 的 ， 各 个 操作 系统 之 间 的 进程 和 用 户 权限 也 是 相互 隔离 的 。 如 果 你 需 
要 一 个 CPU 为 4 核 ， 内 存 为 8GB， 硬 盘 容 量 为 60GB 的 设备 ， 就 可 以 用 虚 
拟 机 软件 定制 这 样 一 个 虚拟 机 。 在 使 用 过 程 中 ， 大 发 现 资源 不 够 了 ， 那 
么 可 以 随时 调整 ， 只 要 不 超过 这 台 物 理 机 的 最 大 资源 能 力 就 可 以 。 





虚拟 机 技术 为 软件 测试 解决 了 以 下 两 个 难题 。 


。 通过 虚拟 机 技术 ， 一 台 物 理 机 可 以 虚拟 出 多 台 服 务 器 ， 这 样 就 可 以 
安装 多 个 不 同 的 操作 系统 ， 也 意味 着 可 以 部 团 多 套 被 测 软件 系统 。 





只 要 在 一 个 虚拟 机 上 部 闭 好 所 需 的 操作 系统 和 测试 环境 ， 就 可 以 制 
作 镜 像 文件 并 部 车 到 其 他 虚拟 机 上 ， 不 用 再 担心 人 工 部 获 造 成 的 错 
误 和 测试 环境 不 一 致 的 问题 。 测 试 环境 的 恢复 也 可 以 用 镜像 文件 来 
完成 ， 几 分 钟 就 可 以 摘 定 。 





此 外 ， 虚 拟 机 技术 可 以 大 大 提高 测试 服务 器 的 利用 率 并 市 省 测试 环 


境 的 维护 成 本 ， 因 为 资源 可 以 快速 实现 动态 分 配 ， 物 理 机 器 需要 的 数量 
也 大 大 减少 ， 需 要 的 机 柜 、 网 线 和 电量 则 更 少 。 


目前 比较 流行 的 虚拟 机 技术 是 x86 平 台 的 Linux 虚 拟 机 解决 方案 ， 主 
要 的 软件 包括 VMware Workstation、KVM、Virtual Box 和 Xen 等 。 


不 过 ， 在 虚拟 机 的 使 用 过 程 中 ， 人 们 逐渐 认识 到 这 种 技术 的 不 足 ， 
每 个 虚拟 机 都 需要 一 个 操作 系统 ， 但 操作 系统 占用 的 资源 比较 大 、 启 动 
速度 慢 。 在 实际 的 软件 运行 环境 中 ， 我 们 其 实 不 需要 关心 操作 系统 及 其 
依赖 环境 。 那 么 ， 有 没有 什么 方法 让 我 们 无 须 关注 系统 环境 的 配置 ， 只 
关注 应 用 系统 本 身 ? 








容器 技术 可 以 解决 上 面 提 到 的 问题 ， 在 操作 系统 之 上 ， 在 每 个 容器 
内 运行 一 个 应 用 ， 通 过 Linux 的 命名 空间 (NameSpace) 技术 实现 应 用 之 
间 既 相互 隔离， 又 相互 通信 ， 底 层 的 系统 环境 可 以 共享 。 





虚拟 机 技术 和 容器 技术 的 比较 如 图 4-9 所 示 。 


AppB 
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图 4-9 ”虚拟 机 技术 和 容器 技术 的 比较 


Docker 最 初 是 一 个 开源 的 容器 项 目 ， 诞 生 于 2013 年 ， 现 在 几乎 成 了 


容器 的 代名词 。 容 器 技术 最 早 可 以 追溯 到 1982 年 ， 但 Docker 出 现 之 前 并 
没有 形成 一 个 统一 的 标准 。Docker 真 正 实 现 了 对 应 用 的 打包 、 分 发 、 部 
署 和 运行 的 全 面 管理 ， 从 而 达到 了 应 用 级 别 的 “一 次 封装 ， 到 处 运行 ”， 
因此 ， 它 成 为 了 事实 上 的 工业 标准 。 





相 比 虚拟 机 分 钟 级 别 的 部 四 来 说 ，Docker 容 器 的 创建 和 启动 更 快 ， 
是 秒 级 的 部 署 。Docker 的 镜像 体积 要 小 很 多 ， 对 系统 资源 的 占用 更 少 ， 
一 个 主机 上 可 以 安装 10~~20 个 虚拟 机 ， 而 且 可 以 运行 几 千 个 ， 其 至 上 万 
个 Docker 容 器 。 男 外 ，Docker 通 过 Dockerfile 对 容器 进行 灵活 、 快 速 的 部 
和 车 ， 结 合 持续 集成 /持续 交付 的 其 他 工具 实现 了 应 用 级 别 的 持续 交付 和 
集群 管理 。 








虽然 Docker 和 虚拟 机 相 比 有 很 多 优点 ， 但 并 不 是 说 Docker 一 定 会 取 
代 虚 拟 机 。 实 际 上 ， 它 们 是 共生 的 模式 ， 企 业 可 以 把 Docker 部 署 在 物理 
主机 上 ， 也 可 以 部 署 在 虚拟 机 上 。 


4.4.2 Sidecar 模 式 一 容器 的 设计 模式 


目前 ， 微 服务 会 用 到 容器 技术 进行 部 署 和 管理 。 每 个 微服 务 的 主要 
能 是 处 理 业务 逻辑 ， 但 是 也 需要 处 理 一 些 与 业务 无 关 的 任务 ， 如 监控 
容 右 的 工作 状态 、 日 志 收 集 等 。“ 边 车 ”(Sidecar) 模式 提出 了 一 种 新 的 
容 右 和 微服 务 架构 的 设计 模式 ， 可 以 实现 辅助 功能 与 业务 功能 的 分 离 : 
把 辅助 功能 用 蛙 独 的 微服 务实 现 ， 并 与 实现 业务 功能 的 微服 务 一 起 部 署 
在 各 目的 容器 中 。 


过 


Sidecar 容 器 设计 模式 〈( 见 图 4-10) 被 认为 是 下 一 代 微 服务 

(Microservice〉 架构 Service Mesh 的 关键 ， 这 是 一 种 将 应 用 的 辅助 功能 
从 应 用 本 号 剥 离 出 来 作为 捍 独 进程 的 方式 。Sidecar 容 器 和 业务 主 容 右 一 
起 部 署 在 同一 个 Kubernetes pod 中 ， 为 业务 服务 提供 如 监控 、 日 志 记 
录 、 服 务 限 流 、 服 务 熔断 等 功能 ， 而 这 些 是 每 个 微服 务 都 需要 的 辅助 功 
能 。 这 种 设计 模式 通过 将 这 些 辅助 功能 抽象 成 微服 务 架 构 中 的 公用 基础 
设施 ， 将 辅助 功能 与 业务 功能 解 秋 ， 从 而 降低 了 微服 务 的 代码 复杂 性 和 
重复 性 。 





Microservice—X 


Sidecar 
Microservice-Y / | Microservice-Z 
Sidecar -+ PN Sidecar 








Service Mesh 控 制 平台 


图 4-10 ”Sidecar 容 器 设计 模式 
4.4.3 ”虚拟 化 技术 之 NUMA 和 DPDK 
下 面 介绍 Linux 虚 拟 机 环境 下 软件 系统 性 能 优化 相关 的 两 项 技术 : 


NUMA 和 DPDK。 如 果 你 负责 软件 系统 的 性 能 测试 ， 或 者 遇 到 系统 CPU 
占用 过 高 而 导致 的 系统 功能 异常 ， 就 可 能 用 到 这 两 项 技术 。 





非 一 致 性 内 存 访 问 (non-uniform memory access，NUMA) 是 一 种 
文 持 对 主机 系统 CPU 进行 集群 配置 的 技术 ， 是 现在 主机 系统 的 主流 CPU 


架构 。 利 用 NUMA 技 术 ， 可 以 把 几 十 个 CPU 组 合 在 一 从 服务 器 内 ， 将 

CPU 和 内 存 划 分 到 多 个 节点 (node) ， 如 图 4-11 所 示 。 每 个 CPU 不 但 可 
以 访问 本 节点 内 的 内 存 ， 而 且 可 以 访问 其 他 节点 的 内 存 。 注 意 ，CPU 访 
问 自己 节点 内 的 内 存 要 比 访问 其 他 节点 的 内 存 快 得 多 。 因 此 ， 在 NUMA 
架构 的 主机 上 ， 系 统 性 能 优化 的 一 个 方面 就 是 让 CPU 尽量 访问 自己 节点 
内 的 内 存 。 
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图 4-11 NUMA 工 作 示意 图 


在 虚拟 机 环境 下 ， 可 以 实现 同一 个 虚拟 机 的 所 有 虚拟 
CPU (vCPU) 尽 可 能 调度 到 同一 个 物理 CPU 上 ， 并 且 将 这 个 虚拟 机 的 
所 有 “物理 内 存 ” 尽 可 能 分 配给 和 物理 CPU 属于 同一 节点 的 内 存 ， 从 而 有 
助 于 提高 虚拟 机 的 性 能 。Linux 提 供 了 一 个 用 于 性 能 调 优 的 工具 
Numactl， 通 过 它 可 以 查看 系统 的 NUMA 状 态 ， 可 以 将 一 个 进程 绑 定 在 
某 个 NUMA 节 点 上 执行 。Numactl 常 用 的 命令 如 下 。 


numactl1 --hardware 
numastat 


numactl1 -interleave=mongod [other options] 
numactl1 --cpubind=1 --membind=1 [specific process] 





如 果 是 Linux 系 统 中 的 Docker 环 境 ， 默 认 情 况 下 ， 容 器 可 以 使 用 的 
主机 CPU 资 源 是 不 受 限 制 的 ， 但 是 一 旦 发 生 容器 内 程序 异常 使 用 CPU 的 
情况 ， 很 可 能 把 整个 主机 或 虚拟 机 的 CPU 资源 耗 尽 。 因 此 ， 需 要 通过 





Docker 命 令 来 限制 某 个 容器 使 用 CPU 的 个 数 ， 以 及 使 用 哪个 NUMA 节 点 
的 CPU 或 内 存 ， 尽 量 访问 本 地 内 存 。 


docker run - --rm --cpus=2 [container|]:latest /bind/bash 
docker run -it --cpuset-cpus="1,5" [container|]:latest /bind/bash 





docker run - --cpuset-mems="1,5" [container]:latest /bind/bash 


DPDK (data plane development kit) 是 英特尔 公司 提供 的 一 套数 据 
转发 与 处 理 的 运行 框架 ， 目 的 是 提高 运行 在 Intel 处 理 器 上 的 Linux 操 作 
系统 的 数据 报 文 吞吐 能 力 。 在 Linux 虚 拟 化 环境 中 ， 网 络 数据 包 的 收发 
路 径 比 较 长 ， 以 CPU 为 核心 的 系统 存在 很 大 的 处 理 方面 的 瓶颈 。DPDK 
技术 绕 过 Linux 内 核 协 议 栈 ， 利 用 自 吴 提供 的 数据 库 进 行 收发 包 处 理 ， 

可 以 加 速 数 据 的 处 理 。 用 户 可 以 在 Linux 用 户 空间 定制 协议 栈 ， 满 足 自 

己 的 应 用 需求 。DPDK 是 一 组 lib 库 和 工具 包 的 集合 ， 使 用 时 从 DPDK 官 

网 下 载 其 安装 包 并 在 Linux 操 作 系 统 中 进行 安装 和 配置 ， 就 可 以 让 DPDK 
接管 网卡， 从 而 提高 报 文 处 理 效率 。 





4.4.4 ”服务 虚拟 化 的 利 右 





Hoverfly 


微服 务 架 构 是 目前 流行 的 软件 架构 风格 ， 即 一 个 软件 系统 由 多 个 相 
互 独立 的 微服 务 组 成 ， 每 个 微服 务 可 以 独立 开发 、 独 立 部 署 。 微 服务 之 
间 通 过 轻 量 级 的 交互 机 制 进行 通信 ， 如 HTTP 的 RESTful API。 但 由 于 微 
服务 之 间 在 业务 上 存在 依赖 关系 ， 大 多 数 的 业务 场景 需要 多 个 微服 务 互 
相 调用 来 完成 。 这 就 给 我 们 的 测试 带 来 挑战 : 当 某 个 微服 务 所 依赖 的 其 
他 两 个 微服 务 处 于 不 稳定 或 不 可 用 状态 时 ， 如 何 对 这 个 微服 务 进 行 测 
试 ? 





你 可 以 通过 创建 Mock Service 来 模拟 某 个 微服 务 所 依赖 的 其 他 微服 
务 ， 然 后 针对 这 个 微服 务 进行 接口 测试 ， 比 如 像 WireMock 这 样 的 测试 
框架 。WireMock 通 过 启动 模拟 服务 强 并 根据 服务 请 求 返 回 啊 应 信息 的 
方式 模拟 Web 服 务 。 这 里 提供 男 一 个 选择 Hoverfly， 它 是 一 个 开源 
服务 虚拟 化 工具 ， 用 来 模拟 所 依赖 的 外 部 服务 。 服 务虚 拟 化 是 指 用 来 模 
拟 特 定 服 务 行为 的 技术 和 方法 。Hoverfly 提 供 的 功能 包括 : 





。 可 以 在 持续 集成 环境 中 人 蔡 代 缓慢 和 不 稳定 的 外 部 服务 或 第 3 方 服 
Sr: 


。 可 以 模拟 网 络 延迟 、 随 机 故障 或 速率 限制 以 测试 边缘 情况 ; 





。 可 以 导入 /导出 、 共 部 和 编辑 模拟 数据 ; 


。 提供 方便 、 易 用 的 命令 行 界面 hoverctl; 





。 提供 多 种 运行 模式 ， 可 以 对 HTTP 响 应 进行 记录 、 回 放 、 修 改 或 合 
成 。 


Hoverfly 的 Capture 模 式 如 图 4-12 所 示 。Hoverfly 作 为 一 个 Proxy 服 务 
器 运行 ， 捕 获 并 记录 服务 之 间 的 请 求 和 啊 应 ， 并 随后 作为 模拟 器 存储 到 
一 个 JSON 文 件 中 。 


ran ms 
Loop ， 


[http] 
请 求 





吧 应 





客户 端 应 用 外 部 依赖 服务 


图 4-12 ”Hoverfly 的 Capture 模 式 


Hoverfly 的 Simulate 模 式 如 图 4-13 所 示 。 当 Hoverfly 切 换 到 Simulate 模 
式 时 ， 就 可 以 将 在 Capture 模 式 时 录制 的 数据 或 分 析 修 改 后 的 数据 加 载 进 
Hoverfly。 当 Hoverfly 收 到 满足 模拟 器 中 匹配 规则 的 请 求 信息 时 ， 就 会 
代 蔡 原来 的 服务 提供 响应。 


是 I 
| loop | [http] 
i 请 求 ______、 


图 4-13 ”Hoverfly 的 Simulate 模 式 











Hoverfly 的 优势 在 于 ， 作 为 一 个 Go 语言 编写 的 开源 工具 ， 有 具有 轻 
巧 、 高 效 的 特点 ， 并 且 可 以 满足 团队 定制 化 的 需求 。Hoverfly 是 非 侵 入 
式 的 ， 不 需要 改动 被 测 系统 的 代码 或 配置 ， 使 用 时 只 需要 改动 JVM 上 自己 
的 属性 或 者 操作 系统 的 Proxy 配 置 。 另 外 ，Hoverfly 提 供 了 丰富 的 运行 模 
式 ， 除 上 面 介绍 的 Capture 模 式 和 Simulate 模 式 以 外 ， 还 提供 了 Spy 模 
式 、Synthesize 模 式 、Modify 模 式 和 Diff 模 式 ， 基 本 可 以 实现 服务 虚拟 化 
的 各 种 功能 。 例 如 ， 在 Spy 模式 下 ，Hoverfly 可 以 实现 让 一 部 分 请 求 获得 
模拟 啊 应 ， 另 一 部 分 请 求 获得 真实 啊 应 ;在 Diff 模 式 下 ，Hoverfly 会 将 
请 求 转发 给 外 部 依赖 服务 ， 并 将 得 到 的 真实 响应 与 当前 存储 的 模拟 啊 应 
进行 比较 。 














4.4.5 Molecule 虚拟 化 技术 的 目 动 化 测试 工 


Molecule 是 一 个 专 为 Ansible 角 色 (role) 编写 及 测试 配置 脚本 的 开 
源 工具 ， 可 以 帮助 我 们 开发 容易 被 理解 和 维护 的 Ansible 和 角色 ， 并 且 能 够 
提升 更 改 Ansible 脚 本 后 的 构建 信心 。Ansible 在 DevOps 工 具 链 里 是 一 个 
自动 化 的 批量 系统 和 应 用 配置 管理 工具 ， 后 续 还 会 专门 讲 到 。 


Molecule 支 持 包括 Vagrant、Docker 和 OpenStack 在 内 的 多 个 驱动 程 
序 对 虚拟 化 的 基础 设施 进行 配置 和 管理 ， 并 支持 Serverspec、Testinfra 或 
Goss 中 的 任何 一 种 工具 来 执行 测试 ， 如 图 4-14 所 示 。 


执行 /配置 Ansible 
持 rs 设施 人 验证 与 断言 
BS I. ee >、 
人 一 -| hh 
» J 
中 NM Ye > 小 vs 有 
pe testinfra 4 
a ANSI @ LE 4 
py > 





Molecule 


图 4-14 ”Molecule 工 作 流 程 





Molecule 提 供 以 下 命令 


lint: 执行 yaml-lint、ansible-lint 和 flake8， 如 果 有 问题 ， 就 报告 故 


障 。 


syntax: 验证 角色 的 语法 错误 。 








。 create: 创建 驱动 程序 已 配置 的 实例 。 


。 prepare: 使 用 准备 playbook 来 配置 实例 。 


converge: 执行 针对 主机 的 playbook。 





idempotence: 执行 两 次 playbook; 若 第 二 次 运行 出 现 变更 ， 就 失效 
( 非 堪 等 )。 


verify: 执行 服务 器 状态 验证 工具 (Serverspec、Testinfra 或 Goss)。 


destroy: 销毁 实例 。 


test: 执行 前 面 的 所 有 步 又 。 


假设 我 们 创建 了 一 个 Ansible 角 色 来 安装 并 配置 Apache 与 firewalld， 
然后 利用 Molecule 验 证 软件 安装 是 否 成 功 ， 启 用 、 运 行 是 否 正 常 。 在 这 
个 例子 中 ， 我 们 使 用 Docker 作 为 驱动 程序 ， 操 作 步 又 如 下 。 


1) 使 用 Molecule 创 建 一 个 新 的 Ansible 角 色 ， 名 称 为 htpd， 用 它 来 
测试 Apache 的 安装 。 相 关 命 令 如 下 ， 其 中 -r 用 来 指定 角色 名 称 ，-d 用 来 
指定 驱动 程序 。 


$ molecule init role -r httpd -d docker 


2) 为 这 个 角色 创建 任务 文件 ， 指 定 要 安装 的 软件 包 和 要 局 用 的 服 
务 。 





3) 使 用 Testinfra 编 写 两 个 单元 测试 用 例 ， 验 证 httpd 和 firewalld 是 否 
已 经 安装 成 功 ， 以 及 是 否 正在 启用 (enabled) 并 运行 。 示 例如 下 。 


@pytest.mark.parametrize('pkg', [ 


"httpd ' ， 
'firewalld' 


]) 
def test pkg(host, pkg): 
package = host.package(pkg) 


assert package.is installed 


@pytest.mark.parametrize('svc', [ 
"httpd', 
“firewal1d 
] ) 
def test svc(host, svc): 
service = host.service(svc) 


assert service.is running 
assert service.is enabled 





4) 运行 下 面 的 Molecule 的 测试 命令 以 运行 测试 。 


4.4.6 ”Kubernetes 与 测试 环境 


为 了 文 持 大 规模 的 并 发 业务 ， 企 业 一 般 需 要 把 服务 部 普 到 容器 集 
群 。Kubernetes《〈 简 称 k8s) 是 目前 最 具 影 响 力 的 容器 集群 管理 工具 之 
一 ， 为 容 圳 化 的 应 用 提供 部 署 运行 、 资 源 调度 、 服 务 发 现 和 动态 伸缩 等 
一 系列 完整 功能 ， 提 高 了 大 规模 容器 集群 管理 的 便捷 性 。 因 此 ， 它 可 用 
于 部 普 和 管理 容器 化 的 测试 环境 ， 尤 其 是 性 能 测试 环境 和 准 生 产 环境 。 











Kubernetes 提 供 的 管理 能 力 能 够 很 好 地 文 持 业务 的 可 伸缩 性 
《scalabijlity) 。 可 伸缩 性 是 指 : 如 果 系 统 的 工作 负载 增加 ， 那 么 只 需要 
生成 更 多 的 容器 或 者 在 容器 集群 中 增加 更 多 的 市 点 就 可 以 提高 整个 集群 








的 处 理 能 


Kubernetes 容 器 集群 绾 理 架 构 如 图 4-15 所 示 ， 其 中 包括 一 个 主 节点 
(master) 和 若干 个 工作 节点 (node) 。 主 节点 负责 对 Kubernetes 集 群 的 
控制 和 管理 ， 在 工作 节点 中 ， 运 行 实际 的 应 用 系统 。pod 是 每 个 工作 节 
点 中 可 以 调度 的 最 小 单元 ， 一 个 pod 包 含 一 组 容器 (Container) 。 
Kubemetes 能 够 管理 的 集群 规模 非常 大 ， 单 集群 就 可 部 署 5000 个 工作 节 
点 、15 万 个 pod 和 30 万 个 容器 。 

















图 4-15 “Kubernetes 容 器 集群 管理 架构 








当今 的 软件 测试 日 趋 “ 云 化 ?和 "服务 化 "。 云 测试 平台 是 Kubernetes 
进行 测试 基础 设施 管理 的 典型 场景 。 云 测试 平台 是 云 计 算 和 虚拟 化 技术 
在 软件 测试 领域 的 应 用 ， 通 过 虚拟 机 、 容 器 技术 及 容器 集群 管理 工具 来 
搭建 测试 基础 设施 ， 然 后 按 需 为 客户 提供 各 种 自动 化 的 测试 服务 。 日 
前 ， 云 测试 平台 主要 支持 手机 端 App 和 Web 应 用 的 测试 ， 如 兼容 性 测 
试 、 功 能 测试 、 性 能 测试 和 安全 测试 等。 用 户 通 过 浏览 器 上 传 被 测 应 
用 、 测 试 脚本 ， 使 用 云 测试 平台 提供 的 测试 工具 进行 测试 ， 测 试 结束 后 
可 查看 测试 结果 。 








由 于 “测试 右 移 ”， 因 此 在 生产 环境 中 有 不 少 测试 可 以 做 。 从 广义 上 
来 说 ， 整 个 生产 环境 就 是 一 个 真实 的 测试 环境 ， 可 以 在 Kubernetes 集 群 
环境 中 进行 混沌 工程 的 实验 、 在 线性 能 测试 每。 一些 用 于 Kubernetes 云 
原生 的 混沌 工程 工具 应 运 而 生 。 例 如 ，kube-monkey 可 以 模拟 在 指定 时 
间 随 机 删除 Kubernetes 集 群 中 的 pod，PowerfulSeal 可 以 控制 Kubernetes 中 
的 pod 及 工作 节点 的 状态 。Kubernetes 本 吴 提 供 的 保障 系统 高 可 用 性 的 功 
能 特性 也 是 在 线 测 试 需 要 验证 的 对 象 ， 如 自我 修复 机 制 、 弹 性 伸缩 机 制 


间 
等 。 











4.5 如 何 完 成 目 动 部 署 


部 效 活 动 分 为 两 种 ， 一 种 是 作为 持续 集成 的 一 部 分 ， 在 完成 单元 测 
试 、 代 码 静 态 分析 和 打包 等 之 后 ， 把 生成 的 软件 包 部 署 到 测试 环境 中 ， 
以 便利 用 BVT 验 证 系统 基本 功能 ， 刃 一 种 是 软件 系统 向 生产 环境 中 的 部 
署 ， 也 可 以 包括 类 生产 环境 中 的 部 署 。 前 一 种 部 署 活 动 相对 人 简单， 一 般 
只 需要 部 车 到 一 台 或 有 限 数量 的 服务 器 或 终 并 设备 。 如 果 是 复杂 的 分 布 
式 系统 ， 后 一 种 就 需要 “基础 设施 即 代码 ”的 各 种 部 嗜 工具 和 集群 管理 工 
有 共 的 文 持 。 





有 人 说 ， 持 续集 成 的 过 程 就 是 不 断 地 尝试 各 种 “在 一 起 ”提交 代码 
古 让 代码 “在 一 起 ”集成 是 让 业务 远 辑 “在 一 起 ”。 那 么 ， 部 车 束 是 让 系 
统 运行 “在 一 起 ”。 软 件 部 署 的 场景 有 很 多 ， 构 建成 功 后 生成 的 软件 包 有 
不 同 的 格式 ， 需 要 不 同 的 运行 环境 ;软件 部 车 的 目标 实体 可 以 是 一 全 或 
多 台 服 务 器 、 髓 入 式 系 统 的 终端 ， 也 可 能 是 手机 、 摄 像 机 ， 或 菜 种 可 穿 





戴 设 备 。 本 节 以 微服 务 架 构 体 系 的 企业 级 应 用 系统 为 例 进行 讲解 。 


4.5.1 配置 即 代 码 一 一 持续 集成 配置 管理 工具 ; 
Ansible、 Chef 





在 持续 集成 环境 中 ， 有 时 需要 用 到 一 些 配置 管理 工具 来 完成 测试 环 
境 中 各 种 应 用 《〈 如 数据 库 、Web 服 务 器 和 被 测试 系统 等 ) 的 部 晋 和 配 
置 。 这 里 介绍 两 款 配 置 管理 工具 : Ansible 和 Chef。 








Ansible 是 一 个 基于 Python 开 发 的 自动 化 运 维 的 开源 工具 ， 提 供 远 程 
系统 安装 、 局 动 /停止 、 配 置 管理 等 服务 ， 并 且 可 以 对 服务 器 集群 进行 
批量 系统 配置 、 批 量 部 团 和 批量 运行 命令 。Ansible 使 用 SSH 人 协议 与 目标 
机 器 进行 通信 。Ansible 还 可 以 实现 对 Docker 集 群 的 自动 化 管理 ， 如 安 
装 、 部 署 和 管理 Docker 容 器 和 Docker 镜 像 。Ansible 架 构 如 图 4-16 所 示 。 


CMDB 





NETWORKING 


Playbook 


图 4-16 ”Ansible 架 构 示意 图 


一 个 Ansible 项 目的 目录 结构 如 图 4-17 所 示 。 
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图 4-17 Ansible 项 目的 目录 结构 


在 Ansible 中 ， 把 脚本 文件 playbook.yaml 作 为 执行 的 入 口 文件 ， 指 定 
在 哪些 服务 器 集群 为 哪些 角色 执行 配置 任务 ， 示 例如 下 。 


- hosts: "hosts-dev" 
become: yes 
roles: 
- docker install 


- docker_ container 
- redis 
- nginx 








inventories 目 录 下 的 hosts 文 件 存 放 所 有 目标 服务 器 的 地 址 ， 可 以 为 
需要 管理 的 各 种 应 用 创建 对 应 的 角色 ， 如 Nginx、Redis 等 ， 然 后 把 配置 
言 思 、 需 要 执行 的 Shell 脚 本 存放 在 每 个 角色 的 目录 下 。 





一 


本 市 介绍 的 男 一 球 配 置 管理 的 开源 工具 是 Chef。Chef 把 各 种 系统 的 


安装 配置 脚本 代码 化 ， 以 统一 的 Ruby 语 言 来 封装 编写 。Chef 的 意思 
征 “ 厨 师 ”， 对 每 个 服务 器 节点 进行 配置 相当 于 厨师 "做 沫 ”， 做 “ 荣 ” 需 要 





有 “ 荣 谱 ”(cookbooks) ， 在 Chef 中 ,分 发 到 各 个 服务 器 节点 的 就 是 “ 衣 
谱 ”"， 服 务 嚣 按照 “ 字 谱 ”自己 “做 菜 ”?、 目 己 管 理 。 服 务 器 节点 可 以 是 物 
理 机 、 虚 拟 环 境 ， 或 云 化 的 虚拟 环境 。Chef 系 统 架 构 如 图 4-18 所 示 。 





Chef 主 要 包含 以 下 3 个 部 分 





1) Chef 客 户 端 : 它 是 Chef 的 一 个 本 地 执行 引擎 ， 安 装 在 需要 管理 
的 目标 节点 上 ， 用 于 构建 本 地 节点 对 象 ， 拉 取 Chef 服 务 器 上 的 
cookbooks 配 置 目标 节点 。 








2) Chef 服 务 器 : 对 所 有 的 客户 端 〈 也 就 是 所 有 的 目标 节点 ) 进行 
管理 ， 包 括 安装 、 配 置 等 工作 。 


Chef- 客 户 端 1 


Chef- 客 户 端 2 
节点 /7 Y 


Chef- 客 户 端 n 






代码 版 本 控制 库 
A 











图 4-18 ” Chef 系统 架 构 示 意图 


3) 工作 站 : 工作 人 员 在 工作 站 上 编写 cookbooks。cookbooks 支 持 版 
本 管理 ， 这 样 我 们 就 可 以 根据 不 同 的 版 本 编写 不 同 的 cookbooks， 在 使 





用 的 时 候 ， 我 们 只 要 在 Chef 框 架 的 Environment 里 指定 好 cookbooks 的 版 
本 就 可 以 了 。 这 样 ， 我 们 惑 可 以 在 一 套 Chef 框 架 里 ， 根 据 cookbooks 的 
不 同 ， 同 时 部 署 不 同 的 环境 。cookbooks 由 几 个 部 分 组 成 ， 最 主要 的 部 
分 是 以 Ruby 语 言 编写 的 Recipe， 用 来 定义 对 目标 机 器 做 部 署 的 整个 操 
作 。 编 写 好 的 cookbooks 通 过 knife 命 令 上 传 到 Chef 服 务 器 。 





chef-solo 是 Chef 的 一 个 命令 行 工 具 ， 它 的 特点 是 去 中 心 化 ， 不 需要 
Chef 服 务 器 就 可 以 在 本 地 节点 运行 各 种 Chef cookbooks 进 行 配置 管理 。 
chef-solo 支 持 两 种 方式 获取 cookbooks， 一 种 是 在 本 地 目录 ， 另 一 种 是 存 
放 cookbooks 的 tar.gz 压 缩 文 件 的 URL。 











Chef 服 务 器 采用 API 即 时 修改 角色 和 运行 列表 ， 更 适合 管理 动态 的 
虚拟 化 环境 (其 中 的 市 点 经 第 需要 添加 或 删除 ) 。 如 果 市 点 不 会 经 常 更 
改 ， 但 节点 上 的 角色 和 “ 羔 谱 ”经 常 更 改 ， 那 么 chef-solo 是 更 好 的 选择 。 
这 两 种 方式 都 具有 良好 的 可 扩展 性 ， 可 用 来 执行 复杂 的 环境 配置 管理 任 


务 。 





4.5.2 ”微服 务 的 容器 化 部 署 


早期 的 软件 系统 采用 单 体 架构 ， 软 件 的 所 有 功能 放 在 一 个 工程 里 进 
行 开 有 发， 各 模块 紧密 耦合 ， 相 互 依 赖 ， 因 此 ， 只 能 将 一 个 软件 包 整 体 部 
赣 到 服务 右上 。 虽 然 这 种 部 车 方式 简 单 ， 但 系统 任何 一 个 小 的 变更 和 升 
级 都 需要 重新 构建 和 部 署 整个 系统 ， 因 而 存在 风险 大 、 耗 时 长 等 问题 。 





微服 务 染 构 是 当前 流行 的 软件 架构 风格 ， 强 调 业 务 系统 彻底 地 实现 


组 件 化 和 服务 化 ， 一 个 微服 务 完 成 一 个 特定 的 业务 功能 。 每 个 微服 务 可 
以 独立 开发 、 独 立 部 署 ， 微 服务 既 可 以 部 车 在 物理 机 上 ， 叉 可 以 部 蜀 在 
虚拟 机 上 ， 但 更 适合 部 车 在 Docker 容 器 中 。 微 服务 架构 中 的 单个 微服 务 
在 独立 的 进程 中 运行 ，Docker 容 器 刚好 能 做 到 进程 级 别 的 隔离 。 而 且 ， 
容器 占用 资源 很 少 ， 局 动 速度 很 快 。 这 些 特 点 刚好 满足 软件 系统 小 批 
量 、 快 速 地 持续 集成 和 持续 交付 的 需要 。 


采用 Docker 模 式 需要 将 每 个 微服 务 打包 成 Docker 锐 像 (image) ， 
而 一 个 Docker 镜 像 就 是 一 个 包含 软件 应 用 和 依赖 资源 的 文件 系统 。 容 器 
是 Docker 镜 像 的 运行 实例 ，Docker 是 容器 引擎 ， 相 当 于 系统 平台 。 


Dockerfile 是 一 个 文本 格式 的 配置 文件 ， 定 义 Docker 在 创建 镜像 时 
需要 执行 的 命令 。 下 面 是 一 个 通过 Dockerfile 部 署 Spring Boot 应 用 的 简单 
示例 ， 脚 本 逻辑 是 : 指定 一 个 提供 JDK 的 基础 镜像 FROM) 及 创建 镜 
像 时 用 到 的 变量 (ARG) ， 把 应 用 JAR 包 复制 到 镜像 中 根 目 录 下 

(COPY) 。ENTRYPOINT 用 来 指定 容器 启动 程序 及 参数 。 





FROM openjdk:8-jdk-alpine 
ARG JAR_FILE=target/*.jar 


COPY ${JAR_FILES} app.jar 
ENTRYPOINT ["java","-jar","/app.jar"] 





创建 Docker 镜 像 ， 并 局 动容 占 实 例 的 命令 如 下 。 


$ docker build -t my-image:1.0.6 /tmp/dockerfiles/ 


$ docker run --name my-image -d my-image:1.6.6 





在 上 面 的 第 一 条 命令 中 ，Dockerfile 位 于 /tmpy/dockerfiles 目 录 下 ， 逐 
条 执行 Dockerfile 中 的 指令 创建 了 一 个 名 称 及 版 本 号 为 my-image:1.0.0 的 


镜像 文件 。 


在 第 二 条 命令 中 ， 利 用 生成 的 镜像 月 动 一 个 容 希 ， 容 侣 命名 为 my- 


4.5.3 ”微服 务 在 持续 集成 环境 中 的 目 动 化 部 署 





有 了 Docker 和 上 自动 化 配置 管理 工具 ， 接 下 来 就 可 以 在 持续 集成 环境 
中 轻松 地 完成 微服 务 的 自动 化 部 署 。 目 前 ， 主 流 的 实践 基本 是 移 通 过 
SSH 协 议和 远程 目标 服务 器 建立 连接 ， 然 后 在 目标 服务 器 上 执行 Shell 命 
令 进行 部 署 ， 如 Jenkins、Ansible 和 GitLab CI 等 。 


以 Jenkins+Docker 为 例 ， 一 个 微服 务 的 构建 部 署 过 程 se 
为 :开发 人 员 提 交代 人 码 到 代码 仓库 ， 触 及 Webhooks 拉 取代 码 ， 通 过 构建 
服务 嚣 编译、 测试 和 打包 ， 然 后 执行 Shell 脚 本 使 Docker 构 建 镜像 并 提交 
到 镜像 仓库 。 在 上 述 操作 完成 后 ，Jenkins 服 务 器 执行 SSH 命 令 登 录 到 部 
署 目 标 服务 器 ， 执 行 Shell 脚 本 使 Docker 从 镜像 仓库 拉 取 镜像 ， 启 动容 器 
并 完成 部 署 。 这 时 Jenkins 束 会 触发 BVT 的 执行 并 将 结果 返回 给 开发 人 
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图 4-19 ”Jenkins+Docker 实 现 持 续集 成 


在 Jenkins 运 行 环境 中 执行 的 Shell 命 令 如 下 。 


REPOSITORY=xxxxx/dockerrepo/ 

cat > Dockerfile << EOF 

FROM openjdk:8-jdk-alpine 

ARG JAR_FILE=target/*.jar 

COPY ${JAR_FILES} app.jar 

ENTRYPOINT ["java","-jar","/app.jar"] 
EOF 

docker build -t my-image:1.6.6 . 
docker push $REPOSITORY/my-image:1.0.0 





在 部 晋 目标 服务 器 上 执行 的 Shell 命 令 如 下 。 


REPOSITORY=xxxxx/dockerrepo/ 
docker rm -f myimage 


docker rmi $REPOSITORY 
docker pull $REPOSITORY/my-image:1.0.0 
docker run --name myimage -d my-image:1.60.6 





以 Jenkins Pipeline + Ansible 为 例 ，Jenkins 内 需要 安装 Ansible 插 件 。 
在 微服 务 的 Docker 镜 像 生 成 后 ， 由 Ansible 上 传 至 部 署 目标 服务 器 ， 执 行 
容器 管理 对 应 的 角色 所 定义 的 任务 进行 部 署 。 





Jenkins 流 水 线 脚本 Jenkinsfile 示 例如 下 。 


pipeline { 
agent {label "ansible"} // 在 有 ansible 标 签 的 agent 上 执行 任务 





stages { 


stage('Deploy' ){ 
steps { 
ansiblePlaybook( 
playbook: "playbooks/playbook.yaml", 
inventory:"hosts-test" 





4.5.4 Docker 容 咒 的 集群 管理 之 Kubernetes 


这 里 重点 介绍 如 何 进行 软件 系统 在 生产 环境 中 的 自动 化 部 署 。 云 化 
是 虚拟 化 技术 的 集大成 者 ， 现 在 企业 级 应 用 部 车 的 主要 特点 是 : 虚拟 机 
和 容器 技术 广泛 应 用 ， 甚 至 可 以 容器 化 一 切 ; 系统 从 数据 中 心 辐 公有 云 
或 私有 云 迁 移 ， 文 持 “ 基 础 设施 即 代码 ”的 DevOps 工 具 链 也 日 趋 成 熟 。 








持续 集成 中 的 部 署 相 对 比较 简单 ， 将 软件 系统 部 署 到 开 友 环境 或 测 
试 环境 ， 目 的 是 完成 BVT 和 开 肥 达 代 中 的 持续 测试 。 相 比 测试 环境 ， 准 
生产 环境 、 生 产 环 境 中 的 容 吉 集群 的 规模 更 大 ， 可 用 性 、 伸 缩 能 力 要 求 
更 高 ， 往 往 需要 一 个 或 多 个 庞大 的 容 需 集群 运行 微服 务实 例 来 文 持 大 量 
的 在 线 并 发 业务 。 例 如 ， 在 阿里 巴巴 的 生产 环境 中 ， 容 器 化 的 应 用 超过 
了 1 万 个 ， 容 器 数量 在 百 万 级 别 。 这 时 就 需要 使 用 生产 环境 级 别 的 容器 











集群 管理 平台 来 管理 ， 目 前 首选 Kubernetes。 下 面 就 结合 Kubernetes 来 讨 
论 云 平台 的 部 署 和 管理 。 





作为 Docker 容 器 集群 的 管理 工具 ，Kubernetes 主 要 有 下 列 功 能 


。 以 集群 的 方式 运行 、 管 理 容器 ， 如 复制 、 扩 展 容器 等 ， 并 保证 容器 
之 间 可 以 通信 。 


。 保证 系统 服务 的 计算 容量 和 高 可 用 性 。Kubernetes 具 有 自我 修复 机 
制 ， 如 一 个 宿主 机 上 的 某 个 容器 “ 死 掉 ?之 后 ， 可 以 在 另外 一 个 宿主 
机 上 将 这 个 容器 迅速 拉 起 来 。 


。 对 容器 集群 的 目 动 化 、 全 生命 周期 的 管理 ， 包 括 伸缩 性 、 负 载 均 衡 
和 资源 分 配 等 。 


。 Kubernetes 中 的 每 个 对 象 都 对 应 声明 式 的 API， 可 以 非常 方便 地 通过 
执行 配置 文件 进行 资源 的 创建 和 管理 。 例 如 ， 你 可 以 编写 pod.yaml 
文件 来 定义 一 个 包含 两 个 容器 的 pod， 示 例如 下 。 





apiVersion: v1 
kind: Pod 
metadata: 
name: rss-site 
labels: 
app: web 
spec: 
containers: 
- name: front-end 
image: nginx 
ports: 
- containerPort: 86 
- Name: rss-reader 
image: nickchase/rss-php-nginx:v1 


ports: 
- ContainerPort:88 


安装 Kubernetes 可 以 借助 两 个 工具 : Vagrant 和 Ansible。 首 先 定义 合 
适 的 Vagrantfile 来 安装 虚拟 机 ， 包 括 下 载 镜像 、 初 始 化 和 配置 等 工作 ， 
并 保证 Kubernetes 的 节点 配置 是 一 致 的 。Vagrantfile 的 示例 如 下 。 





IMAGE_NAME= "bento/ubuntu-18.0604" 
N= 3 


Vagrant.configure("2") do |config| 
config.ssh.insert key = false 


config.vm.provider "virtualbox" do |v| 
Vv.memory = 2024 
V.Cpus = 2 

end 


config.vm.define "k8s-master" do |master| 
master.vm.box = IMAGE NAME 
master.vm.network "private network", ip: "192.168.1.10" 
master.vm.hostname = "k8s-master" 
master.vm.provision "ansible" do |ansible| 
ansible.playbook = |kubernetes-setup/master-playbook.yml" 
ansible.extra vars = { 
node ip:"192.168.1.106"， 
} 
end 
end 


(1..N).each do |i| 
config.vm.define"node-#{i} do |node| 
node.vm.box = IMAGE_NAME 
node.vm.network "private network", ip: "192.168.1.#{i + 16} 


node.vm.hostname = "node-#{i}" 
node.vm.provision "ansible" do |ansible| 
ansible.playbook = "kubernetes-setup/node-playbook.yml 


ansible.extra vars = { 
node ip: "192.168.1.#{i + 16}", 
} 


end 


end 


然后 ， 通 过 分 别 创建 Ansible 的 playbook 〈 如 master-playbook.yml 和 
node-playbook.yml) 的 方式 自动 安装 Kubernetes 的 主 节 点 和 工作 节点 。 
这 个 操作 相对 复杂 ， 如 安装 容器 、kubelet、kubeadm 和 kubect 等 组 件 ， 
使 用 kubeadm 初 始 化 容器 集群 、 配 置 kube 文 件 ， 以 及 建立 主 节 点 和 工作 
节点 的 网 络 连接 。 可 参考 Ansible、Kubernetes 官 方 网 站 和 网 络 上 其 他 的 
资料 来 完成 具体 操作 。 








我 们 还 是 回 到 主题 ， 即 如 何 基于 集群 环境 来 完成 部 署 。 这 里 给 出 了 
在 Kubernetes 集 群 环境 中 软件 产品 从 持续 集成 到 发 布 的 一 个 完整 的 工作 
流程 ， 如 图 4-20 所 示 ， 可 以 帮助 读者 更 好 地 理解 Docker、Kubernetes 和 和 
Terraform 等 工具 的 各 自 位 置 ， 以 及 它们 如 何在 部 署 流程 中 发 挥 作用 。 
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图 4-20 Kubernetes 集 群 环境 中 部 署 流程 











1) 将 软件 开 及 、 调 试 和 测试 环境 部 车 在 同一 个 Kubernetes 开 发 集群 
中 ， 实 施 快速 迭代 。 


2) 将 代码 合并 到 GitHub 代 码 库 中 ， 并 进行 检查 ， 然 后 运行 自动 化 
的 构建 和 BVT 〈 作 为 持续 交付 的 一 部 分 ) 。 


3) 验证 容器 镜像 的 来 源 和 完整 性 ， 在 通过 扫描 之 前 ， 镜 像 处 在 被 
隔离 状态 。 


4) Kubernetes 使 用 Terraform 之 类 的 工具 集群 ，Terraform 安 装 的 
Helm 图 表 定 义 了 所 需 的 应 用 程序 资源 和 配置 状态 。 


5) 强制 执行 策略 以 管理 Kubernetes 集 群 的 部 署 。 





6) 发 布 管道 会 目 动 执行 每 个 代码 的 预定 义 部 闭 全 略 。 


7) 将 策略 审核 和 自动 修复 添加 到 持续 集成 /持续 交付 管道 。 例 如 ， 
只 有 发 布 管道 有 权 在 Kubernetes 环 境 中 创建 新 的 pod。 








8) 司 用 应 用 遥测 〈telemetry) 、 容 需 运 行 状 况 监 视 和 实时 日 志 分 
析 。 


9) 利用 深度 分 析 发 现 问题 ， 并 为 下 一 个 迭代 制定 计划 。 
基于 Kubernetes 和 Docker 搭 建 Jankins 可 伸缩 持续 集成 系统 的 详细 步 


又 ， 可 参考 本 书 的 附录 A。 


4.5.5 ”基础 架构 即 代 码 的 工具 


CloudFormation 


Terraform.、 





在 前 面 介 绍 了 4 类 IaCc 工 具 中 的 “容器 即 代 码 ? 和 “配置 即 代 码 ” 的 工 
lL 。 在 这 一 部 分 ， 将 介绍 “基础 架构 即 代 码 ”* 和 “管道 即 代码 ”的 工具 。 首 
先 介 绍 Terraform， 它 和 CloudFormation 都 是 “基础 架构 即 代 码 ” 的 工具 。 





S 


Terraform 有 具有 完成 完整 的 云 基础 架构 创建 的 能 力 ， 并 通过 领域 特定 
语言 (domain specific language，DSL ) 以 编程 方式 将 各 个 组 件 链接 在 一 
起 ， 并 能 将 云 基础 设施 的 有 用 部 分 定义 为 高 有 参数 化 输入 的 模块 ， 而 且 
可 以 与 其 他 模块 集成 ， 在 不 同 的 部 普 中 一 次 又 一 次 地 使 用 ， 共 有 良好 的 
复 用 性 。 下 面 列 出 Terraform 中 的 两 个 主要 模块 。 


。 管理 模块 ， 定 义 VPC (virtual private cloud， 公 有 云 上 目 定 义 的 逻辑 
隔离 网 络 空 间 ) 、 子 网 、NAT (network address translation， 网 络 地 
址 转换 ) 网 关 、 路 由 、 安 全 组 和 PuppetMaster 等 。 


。 服务 占 模 块 ， 在 其 子 网 中 定义 多 个 消息 代理 和 多 个 自 定义 服务 器 的 
层 ， 并 将 它们 动态 链接 到 公共 负载 均衡 占 。 





调用 这 些 模块 的 Terraform 代 码 可 以 在 它们 之 间 传 递 详细 信息 。 例 
如 ， 可 以 使 一 个 模块 中 的 负载 均衡 器 获取 另 一 个 模块 中 创建 的 实例 ID。 
下 面 是 两 个 简单 的 例子 ,一 个 是 配置 文件 的 声明 ， 男 一 个 是 版 本 更 新 操 
作 并 验证 的 例子 。 


示例 一 : 配置 文件 的 声明 。 





variable "base network cidr" { 
default = "106.06.0.0/8" 
} 


resource "google compute network" "example" { 


name = "test-network" 
auto_ create subnetworks = false 


} 
resource "google compute subnetwork" "example" { 
count = 4 
name = "test-subnetwork" 
ip_cidr range = "${cidrsubnet(var.base network cidr, 4, count.index)}" 
region = "Us-central1" 
network = "${go0gle compute network.custom-test.self link}" 





示例 二 : 版 本 更 新 并 验证 。 


Terraform will perform the following actions: 


# kubernetes pod.example will be updated in-place 
~ resource "kubernetes pod" "example" { 
id = "default/terraform-example" 


metadata { 
generation = 
labels = 
“app”= “MyApp 
} 
name "terraform-example" 
namespace "default" 
resource version "650" 
self_ link = "/api/vi/namespaces/default/pods/terrafor 
m-example" 
uid "5136ef35-7c69-11e9-be7c-686627f59de6"” 
} 


~ spec { 





CloudFormation 是 亚 马 进 AWS 和 平台 提供 的 “基础 架构 即 代 码 ” 的 开源 
工具 ， 最 初 是 为 了 方便 客户 申请 并 管理 云 服 务 里 的 资源 。 
CloudFormation 通 过 编写 YAML 或 者 JSON 语 言 的 模板 来 完成 对 资源 的 创 
建 、 销 毁 和 监控 等 操作 。 














4.5.6 ”管道 即 代 码 的 工具 


Concourse、 Drone 








管道 即 代 码 ， 也 称 流水 线 即 代码 ， 束 是 把 管道 部 署 流 程 写 进 一 个 肢 
本 文件 ， 然 后 用 一 条 命令 调用 文件 即 可 完成 复杂 的 部 车 过 程 。 通 过 前 面 
的 讲解 ， 你 已 经 了 解 到 了 云 基础 设施 里 的 一 切 都 可 以 变 成 代码 ， 包 括 应 
用 系统 容器 化 部 普 ， 各 种 配套 IT 资源 的 创建 和 配置 ， 以 及 部 车 和 配置 工 
具 的 自动 化 测试 。 最 后 ， 只 要 把 部 绪 流 水 线 变 成 代码 ， 就 实现 了 整个 部 
筑 环 境 的 自动化。 


在 前 面 的 讲解 中 ， 我 们 列举 了 不 少 Jenkins 流 水 线 脚 本 的 例子 ， 这 是 
Jenkins 2.0 提 供 的 功能 。Pipeline 可 以 译 为 "流水线 ”， 也 可 以 译 为 “ 管 
道 ”。 在 Jenkins 1.0 中 ， 为 了 完成 构建 任务 ， 我 们 要 事先 安装 需要 的 插 
件 、 在 界面 上 做 很 多 配置 ， 还 要 设置 环境 变量 ， 时 间 长 了 ， 你 还 能 记得 
ee 才 哪 些 插 件 、 做 过 哪些 配置 吗 ? 让 你 再 搭建 一 个 持续 集成 的 环 

， 你 能 保证 和 上 次 的 操作 一 样 吗 ? 因此 ，Jenkins 1.0 不 能 算是 “管道 即 
的 工具 ， 但 Jenkins 2.0 可 以 是 “管道 即 代码 ”的 工具 。 





另外 ，Concourse 和 Drone 在 “管道 即 代码 ?方面 做 得 很 好 ， 完 全 可 以 
将 基础 架构 、 配 置 和 应 用 程序 部 署 集成 到 一 个 管道 中 。 这 类 工具 根据 配 
置 或 基础 结构 依赖 性 ， 将 相互 耦合 的 应 用 程序 一 同 有 发布。 例如， 应 用 程 
序 的 下 一 版 本 需要 新 的 JVM 版 本 ， 由 于 这 两 个 更 改 将 耘 合 在 一 起 ， 因 此 
将 应 用 程序 新 版 本 和 JVM 新 版 本 部 署 在 同一 发 行 版 中 。 男 外 ， 这 类 工具 
能 够 创建 临时 环境 作为 应 用 程序 部 敬 管 道 的 一 部 分 当 我 们 希望 管道 采 
用 上 个 “ 双 11” 期 间 相 同 的 负载 对 应 用 程序 进行 压力 测试 ， 但 又 不 想 在 测 

















试 环境 上 进行 ， 也 不 想 在 一 个 专用 的 环境 上 完成 这 次 压力 测试 ， 因 为 该 
环境 在 大 多 数 情况 下 会 处 于 闲置 状态 。 在 这 种 模式 下 ， 基 础 架构 是 可 重 
用 的 模块 ! 你 可 以 编写 管道 代码 ， 以 便 它 实例 化 此 模块 〈 带 有 类 似 于 生 
产 的 参数 ) 并 将 其 用 于 压力 测试 ， 成 功 后 ， 继 续 进行 部 署 ， 否 则 就 回 
滚 。 








Concourse 使 用 了 基于 YAML 的 脚本 语言 ， 描 述 所 依赖 的 外 部 资源 
Cresource) ， 如 Git 仓 库 (repository〉 、 需 要 完成 的 作业 (job) 及 任务 
Ctask) 。 下 面 是 一 个 Concourse 流 水 线 脚本 的 简单 示例 。 在 这 个 示例 
中 ， 脚 本 中 的 任务 是 由 Git 触 发 的 。 


resources: 
- Name: concourse-docs-git 
type: git 
icon: github-circle 
source: 
uri: https://github.com/concourse/docs 


job: 
- name: job 
public: true 
plan: 
- get: concourse-docs-git 
trigger:true 
- task: list-files 
config: 
inputs : 
- name: concourse-docs-git 
platform: linux 
image_resource : 
type: registry-image 
source: { repository: busybox } 
run: 
path: ls 
args: ["-la", "./concourse-docs-git"] 





4.5.7 ”新 一 代 的 部 署 体验 Serverless 软 件 系 统 


来 构 





在 介绍 了 主流 微服 务 架 构 的 集群 部 署 之 后 ， 我 们 再 展望 一 下 未 来 
Serverless 架 构 的 部 莹 。 在 当前 主流 的 云 计 算 laaS (infrastructure as a 
service) 和 PaaS (platform as a service) 中 ， 企 业 在 部 署 业务 系统 到 云 上 
时 仍然 需要 关心 部 署 多 少 个 Kubernetes 集 群 ， 以 及 每 个 集群 需要 多 少 个 
工作 节点 和 pod， 归 根 到 底 ， 企 业 购 买 的 还 是 存储 资源 和 计算 资源 。 

几 年 ， 业 界 提 出 了 Serverless 架 构 ， 就 是 去 服务 器 化 的 软件 架 aa 
Serverless 架 构 分 为 BaaS (backend as a service， 后 端 即 服务 ) 和 
FaaS (function as a service， 国 数 即 服务 ) 两 种 技术 。 


简单 来 说 ，BaaS 技 术 提 供 软件 应 用 依赖 的 服务 端的 服务 。 对 于 前 后 
端 分 离 的 染 构 ， 只 需要 开发 前 病 应 用 ， 然 后 上 传 到 云 服 务 平台 ， 后 站 应 
用 和 服务 器 并 的 部 署 和 维护 由 云 平台 来 提供 。 





FaaS 技 术 通 过 函数 提供 应 用 系统 依赖 的 通用 功能 ， 如 视频 处 理 的 人 
脸 识别 、 视 频 转 码 等 功能 。 企 业 开 发 的 微服 务 主 要 负 贡 业务 逻辑 的 实 
现 ， 通 用 功能 由 第 三 方 提供 的 函数 实现 。 这 些微 服务 运行 在 无 状态 的 临 
时 容器 中 ， 容 锅 和 计算 资源 的 协调 由 第 三 方 定 理 。 


在 这 种 架构 模式 下 ， 企 业 不 仅 不 需要 关心 业务 系统 的 集群 部 普 和 管 
理 ， 在 开发 应 用 的 时 候 ， 也 不 需要 关心 和 服务 器 相关 的 服务 端 开发 工 
作 ， 以 及 通用 功能 的 实现 。 


4.5.8 产品 发 布 之 导 流 模式 


产品 的 部 普 和 发 布 在 很 多 地 方 可 以 互 换 使 用 ， 但 其 实 还 是 有 区 别 
的 。 发 布 是 指 把 产品 推 问 市 场 让 用 户 使 用 ， 而 部 普 是 指 发 布 产品 的 技术 
性 操作 ， 就 是 本 书 一 直 在 讲 的 部 交流 水 线 、 基 础 设施 、 虚 拟 化 扩 术 和 集 
群 管理 等 。 有 了 时， 把 新 的 功能 特性 部 蜀 到 了 生产 环境 中 ， 但 也 许 会 过 一 
段 时 间 才 发 布 给 用 户 使 用 。 








无 论 是 敏捷 还 是 DevOps， 目 标 都 是 把 产品 快速 推 向 市 场 ， 因 此 ， 
产品 的 高 频 发 布 代 表 了 一 种 趋势 ， 尤 其 是 互联 网 企业 ， 每 天 可 以 有 几 十 
次 以 上 的 发 布 。 高 频 发 布 可 以 帮助 企业 快速 啊 应 市 场 的 需求 ， 同 时 ， 企 
业 也 希望 利用 高 频 发 布 快速 获取 客户 的 真实 体验 ， 以 及 时 调整 产品 的 功 
能 和 发 展 方 癌 。 

















产品 发 布 的 导 流 模式 是 指 : 企业 定 同 精准 发 布 某 个 产品 版 本 让 东 些 
用 户 试用 ， 以 验证 这 个 版 本 为 业务 导入 流量 的 效果 。 例 如 ，A/B 发 布 
CA/B 测 试 ) ， 一 部 分 用 户 使 用 版 本 A， 男 一 部 分 用 户 使 用 版 本 B， 收 集 
这 两 类 用 户 的 使 用 数据 ， 统 计 并 对 比 两 个 方案 的 购买 转化 率 等 指标 ， 以 
此 判断 不 同方 案 的 优 务 。 








还 有 一 种 发 布 方式 是 影子 发 布 ， 也 称 为 影子 测试 ， 在 需要 把 遗留 的 
系统 服务 迁移 或 升级 到 新 的 服务 前 ， 在 测试 环境 部 著 一 份 遗 留 系统 服务 
和 一 份 新 的 服务 ， 将 生产 数据 库 复制 两 份 到 测试 环境 ， 同 时 ， 将 生产 请 
求 日 志 导 流出 来 ， 分 发 到 测试 环境 里 面 的 遗留 系统 服务 和 新 的 服务 ， 并 
进行 日 志 回 放 。 





两 种 服务 收 到 响应 后 进行 比 对 ， 如 果 所 有 响应 比 对 成 功 ， 则 可 以 认 
为 遗留 系统 服务 和 新 的 服务 在 功能 逻辑 上 是 等 价 的 。 如 果 响 应 对 比 失 
败 ， 就 需要 修复 新 的 服务 ， 直 到 响应 比 对 成 功 。 影 子 测试 一 般 适 用 于 遗 
留 系 统 的 等 价 重 构 迁 移 ， 如 MS SQL Server 数 据 库 迁 移 到 MySQL 数 据 
库 、.NET 平 台 迁 移 到 Java 平 台 等 。 因 为 使 用 生产 中 真实 的 数据 流量 做 测 
试 ， 所 以 可 以 在 很 大 程度 上 降低 发 布 新 系统 的 风险 ， 但 是 环境 部 办 的 技 
术 要 求 比较 高 。 








4.6 ”如 何 完成 全 目 动 的 BVT 





BVI 是 持续 集成 的 最 后 一 步 ， 也 称 为 冒 烟 测试 “smoke 
testing) 。“ 冒 烟 测试 > 这 个 术语 来 源 于 电子 行业 ， 先 对 电路 板 进 行 通电 
测试 ， 如 果 冒 烟 ， 说 明 电 路 板 存在 致命 的 故障 ， 就 没有 必要 做 进一步 的 
测试 了 ， 否 则 需要 做 进一步 的 测试 。 微 软 公 司 把 冒 烟 测 试 这 一 概念 引入 
了 软件 领域 中 ， 即 在 2000 年 出 版 的 《微软 项 目 求生 法 则 》 一 书 的 第 14 章 
中 提 到 了 它 。BVT 就 是 用 来 验证 软件 的 基本 功能 是 否 能 正常 工作 ， 也 用 
于 检验 持续 集成 是 否 成 功 。 如 果 BVT 不 通过 ， 那 么 意味 着 没 必要 或 无 法 
进行 更 深入 或 更 细 粒 度 的 测试 。 这 时 ， 开 发 团队 应 该 立即 对 缺陷 进行 定 
位 修复 ， 直 到 提交 的 代码 通过 了 持续 集成 的 各 个 环节 的 测试 。 








4.6.1 BVT 要 验证 哪些 点 





BVT 的 测试 点 应 该 包括 基本 的 功能 或 业务 上 常用 的 功能 ， 有 时 也 包 
括 软件 所 依赖 的 数据 库 ， 以 及 外 部 服务 的 验证 。 而 且 ，BVT 的 测试 内 容 


要 根据 软件 版 本 的 演化 进行 持续 更 新 ， 窗 冀 新 的 基本 特性 ， 去 挥 那 些 风 
分 较 低 的 测试 项 。 





在 持续 集成 之 前 ， 已 经 做 了 单元 测试 ， 如 果 单 元 测试 的 代码 上 柳 兰 率 
很 高 ， 还 需要 做 BVT 吗 ? 当然 需要 。 因 为 单元 测试 只 是 验证 单元 自 映 的 
功能 特性 ， 并 没有 验证 众多 单元 组 合 在 一 起 的 业务 人 辑 。 我 们 经 常会 过 
到 单元 测试 全 部 通过 ， 但 是 软件 部 车 后 系统 不 能 正常 运行 的 情况 。 








这 里 用 一 个 手机 端 视 频 会 议 App 来 作为 示例 ， 介 绍 BVT 应 该 包括 哪 
些 测试 ， 如 表 4-1 所 示 。 





表 4-1 视频 会 议 App 的 BVT 测 试 项 


册 


用 户 注 用 户 注册 成 功 

所 用 户 录 成 
预定 一 个 会 

3 | 议 并 启动 会 | 会 议 预 定 和 启动 都 成 功 
议 





















































如 入 会 议 成 功 。 会 议 中 双方 
个 会 议 ， 并 | 音 开启 、 发 送 和 接收 正常 
-00 答 延 迟 在 可 接受 范围 内 














在 测试 过 程 中 ， 没 有 出 





SN - Wi- 
主持 人 开启 / | 开启 后 参 会 人 能 看 到 视频 ， 关 | 现 闪 退 、 苇 起 和 响应 时 ja 








闭 后 视频 消失 ， 传 输 延迟 在 可 | 间 过 长 等 重大 问题 
接受 范围 内 


共享 内 容 的 语音 和 图 像 可 识 
别 ， 传 输 延 迟 可 接受 


关闭 视频 





共 译 内 容 的 语音 和 图 像 可 识 
别 ， 传 输 延 迟 可 接受 








可 以 说 ， 这 几 个 测试 项 是 视频 会 议 App 基 本 的 功能 ， 组 合 起 来 可 以 
形成 不 同 的 应 用 场景 ， 任 何 步 又 的 失败 都 会 导致 后 续 测 试 无 法 正常 开 
展 。 如 以 此 为 基础 ， 可 以 进行 针对 三 方 到 多 方 会 议 、 预 定 选 项 更 多 的 重 
复 性 会 议 、 网 络 不 稳定 时 开会 或 加 会 等 各 种 场景 的 测试 。 








持续 集成 中 的 BVT 要 求 是 全 部 自动 化 的 。 从 目 动 化 测试 的 角度 来 
说 ， 除 上 面 说 的 “ 测 什么 ”的 问题 ，BVT 还 需要 考虑 “怎么 测 ” 的 问题 。 一 
种 方式 是 借助 Selenium、Appium 这 类 工具 直接 从 UI 层 实现 自动 化 测试 ; 
另 一 种 方式 是 绕 过 UI， 基 于 API 进 行 测试 。 与 UI 层 相 比 ，API 改 动 少 ， 
脚本 开发 效率 要 高 很 多 ， 测 试 执行 会 快 很 多 ， 因 此 ， 尽 可 能 用 API 的 方 
式 实现 BVT。 例 如 ， 上 面 提 到 的 视频 会 议 App 的 BVT 测 试 可 以 通过 API 
来 实现 ， 这 将 是 4.8 节 所 讨论 的 金字 塔 测试 策略 。 





持续 集成 要 考 碟 速度 和 质量 的 平衡 ，BVI 测 试 脚本 越 多 ， 需 求 履 兰 
就 越 全 ， 但 需要 的 执行 时 间 惑 越 长 。 马 丁 ' 福 勒 在 《持续 集成 》 一 文 
中 ， 建 议 采 用 次 级 构建 (secondary build) 和 并 行 测试 等 策略 来 解决 这 
类 问题 ， 既 能 缩短 时 间 ， 叉 有 较 高 的 牙 凋 率 。 











按照 福 勒 的 建议 ， 持 续集 成 的 第 一 阶段 是 “提交 构建 ”， 包 括 由 开发 
人 员 提 交代 码 触 发 的 编译 、 测 试 、 打 包 和 部 署 等 活动 。 考 虑 到 持续 集成 
的 速度 ，BVT 中 只 包含 关键 的 功能 ， 如 风险 高 、 执 行 时 间 短 的 测试 场 
景 。 在 提交 构建 成 功 后 ， 再 立即 触发 < 次 级 构建 >， 通 和 只 包括 测试 活 
动 ， 测 试 执行 时 间 较 长 、 风 险 不 太 高 的 基本 功能 。 














并 行 测试 是 指 利用 分 布 式 测试 环境 把 测试 分 布 到 多 台 执 行 机 器 和 被 


et ei ip Wane 
那么 分 布 到 3 台 机 器 后 执行 时 间 束 可 以 下 降 到 10 分 钟 。 通 过 Jenkins 
Pipeline 管 理 持 续集 成 过 程 ， 流 水 线 脚 本 示例 如 下 ， 在 部 署 之 后 执行 
BVTI 并 行 测试 。 





pipeline { 
agent none 
stages { 
stage('Deploy') { 


stage('Run BVT Test'){ 
parallel { 
stage('Execute BVT 1 Test') { 
agent { label "BVT 1" } 
steps { 
echo "BVT_1" 
} 


stage('Execute BVT 2 Test') { 
agent { label "BVT 2" } 
steps { 
echo "BVT_2" 
} 
} 
stage('Execute BVT 3 Test') { 
agent { label "BVT_ 3" } 
steps { 
echo "BVT_3" 
} 


} 
} //end of parallel 
} //end of execute BVT 
} //end of stages 








4.6.2 不 稳定 的 情况 一 一 Flaky 


目 动 化 测试 中 的 Flaky《〈 不 稳定 ) 问题 ， 是 指 一 个 测试 用 例 在 同样 


的 测试 环境 和 产品 中 运行 不 同 次 数 得 到 的 结果 不 同 ， 有 时 成 功 ， 有 了 时 失 
败 ， 则 开发 团队 就 会 耗费 时 间 分 析 测 试用 例 的 失败 原因 。 在 持续 集成 

中 ，Flaky 是 影响 自动 化 测试 效率 的 一 个 主要 因素 。 在 持续 集成 中 ， 会 

由 于 BVT 或 单元 测试 出 现 这 类 非 确 定性 的 测试 结果 而 导致 错误 的 持续 集 
成 告 党 。 由 于 敏捷 测试 和 持续 交付 都 必须 依赖 局 度 的 测试 自动 化 ， 因 此 
Flaky 问 题 变 得 更 加 突出 。 


造成 Flaky 问 题 的 原因 有 很 多 ， 大 致 包括 下 列 几 种 。 


。 业务 代码 中 的 缺陷 。 例 如 ， 在 代码 中 ， 存 在 随机 输入 /随机 输出 ， 
这 让 结果 不 可 预 判 ， 有 的 代码 问题 会 导致 调试 脚本 之 间 有 顺序 依 
赖 ， 如 在 代码 中 引入 全 局 变量 。 


。 测试 代码 中 的 问题 ， 包 括 代码 中 存在 异步 等 等 、 测 试 脚本 之 间 有 顺 
序 依赖 关系 和 测试 代码 存在 并 友 问 题 。 


。 测试 环境 的 稳定 性 问题 ， 如 测试 工具 、 测 试 机 器 运行 不 够 稳定 ; 测 
试 依赖 的 远程 服务 由 于 网 络 原因 导致 访问 不 可 徘 。 





正 因为 造成 Flaky 问 题 的 原因 复 杀 ， 目 前 还 没有 简单 、 有 效 的 办 法 
能 够 将 其 彻底 消除 。 通 闻 大 家 会 采用 重新 执行 失败 的 测试 脚本 的 方法 来 
确认 是 被 测 系 统 的 缺陷 导致 的 失败 ， 还 是 测试 中 的 Flaky 问 题 。 但 我 们 
还 是 要 从 发 生 Flaky 问 题 的 根本 原因 入 手 ， 进 行 失败 分 析 ， 找 出 修复 的 
方法 ， 否 则 会 遗漏 由 于 业务 代码 本 号 的 缺陷 造成 的 Flaky 问 题 。 





1) 在 业务 代码 中 ， 存 在 随机 输入 /随机 输出 的 问题 。 在 业务 代码 


中 ， 应 避免 包含 与 时 间 、 随 机 数 有 关 的 代码 。 


2) 在 业务 代码 中 ， 引 入 全 局 变量 导致 测试 脚本 之 间 的 顺序 依赖 。 
在 茶 些 情况 下 ， 引 入 全 局 变量 后 ， 每 次 运行 单元 测试 ， 可 能 会 修改 应 用 
中 变量 的 值 ， 如 其 他 的 单元 测试 也 依赖 了 这 个 全 局 变量 的 值 ， 残 使 得 测 
试 的 顺序 很 重要 ， 不 能 并 行 运 行 测试 ， 并 且 由 于 线程 区 互 ， 测 试 可 能 会 
变 得 不 可 控 。 这 时 ， 应 避免 滥用 全 局 变量 。 

















3) 无 论 是 业务 代码 还 是 测试 代码 ， 都 可 能 有 异步 等 待 ， 都 可 能 因 
此 产生 Flaky 问 题 。 在 程序 中 ， 经 常 需要 执行 异步 调用 ， 从 发 起 调用 请 
求 到 接收 回复 之 间 ， 存 在 一 个 时 间 间 隔 。 如 果 在 测试 执行 时 提交 了 一 个 
异步 调用 ， 结 果 由 于 种 种 原因 未 能 在 设 定时 间 内 正常 返回 ， 即 开始 继续 
执行 测试 ， 这 时 测试 就 会 失败 。 通 过 回调 或 者 轮 询 机 制 ， 能 够 在 保证 效 
率 的 同时 ， 各 免 极端 情况 下 的 调用 失败 。 























4) 代码 问题 导致 测试 脚本 之 间 的 顺序 依赖 。 测 试 脚本 通常 是 批量 
执行 的 ， 多 个 测试 脚本 共享 测试 环境 、 测 试 配 置 等 全 局 资源 。 东 个 测试 
脚本 的 执行 可 能 影响 后 续 测 试用 例 。 因 此 ， 应 尽量 实现 测试 脚本 的 相互 
独立 。 








5) 测试 代码 中 的 并 发 问题 。 在 多 个 线程 同时 执行 时 ， 线 程 之 间 的 
执行 顺序 受 操 作 系统 调度 ， 通 党 表现 出 不 确定 性 。 多 个 线程 同时 访问 共 
享 资 源 (race condition) 、 多 线程 “ 死 锁 ”〈deadlock) 等 ， 都 可 能 导致 软 
件 行 为 出 现 波动 ， 从 而 产生 Flaky 问 题 。 





6) 对 于 测试 环境 的 稳定 性 问题 ， 应 尽量 减少 在 测试 执行 过 程 中 需 


要 依赖 的 外 部 资源 ， 单 元 测试 、 接 口 测试 都 可 以 通过 mock 方 式 消 除外 
部 依赖 。 系 统 端 到 端的 上 自动 化 测试 无 法 避免 使 用 真实 环境 ， 但 单元 测试 
和 接口 测试 如 果 徐 盖 率 比较 高 ， 这 类 测试 就 可 以 少 一 些 。 





如 果 和 暂时 不 能 彻底 修复 出 现 Flaky 现 象 的 个 别 测试 用 例 ， 那 么 可 以 
先 把 Flaky 的 测试 脚本 移 到 一 个 隔离 区 ， 触 发 自动 化 测试 时 可 以 先 不 执 
行 Flaky 的 测试 脚本 ， 或 者 不 统计 隔离 区 中 的 测试 脚本 的 结果 。 这 样 ， 
研发 人 员 就 不 用 每 次 花 时 间 分 析 其 失败 的 原因 了 ， 但 需要 限制 脚本 在 隔 
离 区 内 的 时 间 。 








4.7 目 动 的 静态 测试 和 训 试 报告 生成 


静态 测试 的 对 象 包括 需求 、 设 计 和 代码 。 代 码 审查 的 方式 包括 人 工 
评审 和 基于 工具 的 自动 的 静态 测试 。 在 持续 集成 环境 中 ， 我 们 可 以 通过 
GitHub 的 Pull Request 特 性 来 进行 代码 的 人 工 评审 ， 并 集成 代码 上 自动 扫描 
工具 : 











4.7.1 代码 分 析 《〈 静 态 测试 ) 








代码 的 静态 测试 ， 也 称 为 静态 分 析 ， 它 不 需要 运行 应 用 程序 束 可 以 
对 软件 代码 进行 检查 ， 并 找 出 其 中 的 缺陷 。 上 自动 的 静态 测试 是 指 利用 融 
态 分 析 工 具 对 代码 进行 目 动 扫描 以 发 现 缺陷 的 技术 。 相 对 人 工 评审 来 
说 ， 目 动 的 静态 测试 不 需要 投入 太 多 人 力 束 可 以 肥 现 代码 中 的 缺陷 ， 古 
效率 比较 高 的 代码 审查 方式 。 














目 动 的 静态 测试 一 般 能 够 发 现代 码 中 的 下 列 问题 。 


。 代码 结构 问题 : 重复 性 代码 、 高 度 耘 合 的 代码 等 。 


。 实 现 问题 :资源 泄漏 、 空 指针 引用 、* 死 "循环 和 缓冲 区 溢出 等 。 


。 可 读 性 差 、 不 规范 的 问题 ， 有 些 代码 没有 缩 进 、 变 量 在 使 用 前 未 定 
义 等 。 





自动 的 静态 测试 对 于 查找 代码 的 安全 漏洞 缺陷 特别 实用 。 例 如 ， 有 
些 程序 接收 到 超出 缓冲 区 大 小 的 数据 和 参数 ， 就 会 导致 缓冲 区 溢出 ， 攻 
击 者 利用 “精心 "构造 的 溢出 数据 就 可 以 让 程序 执行 其 恶意 代码 ， 从 而 获 
得 系统 的 控制 权 ， 达 到 入 侵 系 统 的 目的 。 如 果 在 研发 阶段 不 能 发 现 此 类 
问题 ， 上 线 后 可 能 会 造成 重大 的 信息 安全 事故 。 例 如 ，2003 年 美国 
Davis-Besse 核 电站 受到 Slammer“ 晴 虫 > 攻 击 ， 就 是 因为 程序 中 的 缓冲 区 
溢出 漏洞 被 黑客 利用 而 造成 的 。 


要 实现 目 动 的 静态 测试 ， 团 队 需 要 完成 以 下 几 方 面 的 工作 。 





1) 选择 合适 的 豆 态 测试 工具 。 对 于 目 动 的 静态 测试 ， 仅 仅 借助 工 
有 共 进 行 测试 还 不 够 ， 因 为 无 论 采 用 哪 种 工具 ， 团 队 都 需要 一 起 定义 扫描 
规则 ， 使 用 统一 的 规则 进行 静态 测试 。 例 如 ， 在 开发 过 程 中 ， 对 发 现 的 
代码 缺陷 进行 总 结 、 提 炼 或 抽象 ， 把 这 些 代 码 缺 陷 模 式 借 助 规则 集 、 模 
型 、 解 析 树 和 形式 化 方法 等 方式 描述 出 来 ， 结 合 编程 规范 就 形成 了 目 定 
义 的 扫描 规则 。 











2) 开发 人 员 提 交代 码 前 应 该 先 在 本 地 开 友 环境 里 执行 静态 测试 ， 


结果 可 以 作为 人 工 评审 的 输入 项 进行 分 析 。 如 宁 能 让 团队 成 员 知晓 并 讨 
论 如 何 避 免 其 中 的 典型 或 重大 问题 ， 则 可 以 有 效 地 提高 整个 团队 的 编码 


能 力 和 质量 意识 。 


3) 将 静态 测试 工具 集成 在 持续 集成 环境 中 ， 和 静态 测 试 将 会 成 为 持 
续集 成 活动 的 一 部 分 ， 并 且 自 动 生成 可 视 化 的 代码 分 析 报告 ， 发 送 邮件 
通知 开发 人 员 进行 分 析 和 修复 工作 。 


4.7.2 ”优秀 的 静态 测试 工具 


我 们 先 从 静态 测试 工具 开始 讲 起 ， 第 用 的 工具 有 很 多 ， 这 里 只 列 出 
其 中 的 一 些 。 例 如 ， 对 于 Java 语 言 ， 可 以 选择 PMD、FindBugs 和 
Checkstyle 等 ; 对 于 C/C++ 语言 ， 可 以 选择 C++ Test、CppTest 和 Splint 
等 ; 对 于 Python 语 言 ， 可 以 选择 Pylint、PyChecker 和 PyCharm 等 。 


FindBugs 通 过 检查 JAR 文 件 ， 将 字 节 码 与 一 组 缺陷 模式 进行 对 比 ， 
从 而 发 现 可 能 的 代码 问题 。 它 既 提供 可 视 化 UI， 又 可 以 作为 Eclipse 或 
IntelliJ IDEA 插 件 使 用 。FindBugs 还 为 用 户 提 供 定制 bug pattern 的 功能 ， 
用 户 可 以 根据 需求 自 定 义 FindBugs 的 代码 检查 条 件 。 





PMD 可 以 检查 、 分 析 Java 源 程序 代码 ， 并 通过 内 置 的 编码 规则 对 
Java 代 码 进行 静态 检查 。 同 时 ， 它 也 文 持 开发 人 员 对 代码 检查 规范 进行 
目 定 义 配 置 ， 主 要 检验 潜在 的 bug、 未 使 用 的 代码 、 重 复 的 代码 和 循环 
体 创 建新 对 象 等 问题 。PMD 还 可 以 与 多 种 IDE 进 行 集成 。 








Checkstyle 是 针对 Java 代 码 的 检查 工具 ， 它 偏重 于 代码 编写 格式 的 
检查 ， 包 括 Javadoc 注 释 、 命 名 约定 、 标 题 、import 语 句 和 修饰 从 等 。 


4.7.3 毅 态 测试 报告 的 目 动 生成 


在 实际 使 用 中 ， 代 码 分 析 工 具 一 般 通 过 各 自 的 插件 集成 到 IDE (如 
Flipse、IntelliJ IDEA 和 PyCharm 等 ) 中 ， 开 发 人 员 在 提交 代码 前 会 对 代 
人 码 进行 实时 的 静态 测试 。 如 图 4-21 所 示 ， 在 IntelliJj IDEA 中 安装 了 两 个 
代码 分 析 插 件 : Checkstyle 和 PMD， 它 们 可 以 添加 工具 自 带 的 代码 规 
则 ， 以 及 团队 自 定 义 的 代码 规则 。 
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图 4-21 在 IntelliJ IDEA 中 添加 代码 分 析 工 具 的 插件 


在 IntelliJ IDEA 中 ， 选 择 需 要 分 析 的 源 文 件 和 分 析 工 具 ， 束 可 以 得 
到 如 图 4-22 所 示 的 代码 分 析 结 
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图 4-22 ”代码 分 析 结 果 


SonarLint 一 般 作 为 IDE 的 插件 ， 开 发 人 员 用 其 进行 本 地 的 代码 分 
析 ， 以 便 在 编程 中 及 时 发 现 问题 、 及 时 修改 ， 以 确保 代码 push 到 代码 库 
前 的 代码 质量 ， 如 图 4-23 所 示 。 
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图 4-23 ”IntelliJj IDEA 中 的 SonarLint 插 件 


SonarLint 可 以 与 SonarQube 集 成 ， 从 而 拥有 更 加 丰富 的 代码 规则 
集 ， 而 且 在 代码 扫描 分 析 完 之 后 ， 其 测试 结果 会 上 传 到 SonarQube 服 务 
器 上 ， 如 图 4-24 所 示 ， 它 以 直观 的 可 视 化 界面 来 展现 代码 质量 及 单元 测 
试 履 盖 率 。 双 击 显示 界面 上 的 某 个 数字 ， 就 可 以 查看 具体 的 信息 等 内 
行 。 
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图 4-24 ”SonarQube 的 测试 报告 


静态 测试 工具 与 持续 集成 调度 工具 的 集成 让 静态 测试 成 为 持续 集成 
的 一 部 分 。 如 果 我 们 要 让 静态 测试 与 Jenkins 集 成 ， 束 需要 用 到 
SonarQube Scanners， 以 实现 代码 自动 扫描 并 上 传 报告 到 SonarQube， 这 
也 是 目前 主流 的 应 用 方式 。 也 就 是 说 ，SonarQube Scanners 依 据 
SonarQube 服 务 器 中 的 代码 规则 库 进 行 远程 代码 分 析 ， 而 且 可 以 与 构建 


工具 〈Gradle、Maven 和 Azure DevOps 等 ) 集成 。 








图 4-25 描 述 了 SonarQube 在 持续 集成 环境 中 的 工作 流程 。 开 发 人 员 
在 本 地 开发 代码 并 利用 SonarLint 进 行 实时 代码 分 析 ， 然 后 将 代码 push 到 
代码 仓库 中 ， 和 触发 持续 构建 ， 之 后 采用 SonarQube Scanners 进 行 代码 分 
析 ， 竺 持续 集成 结束 后 ， 将 代码 分 析 结 果 发 布 到 SonarQube 服 务 右 以 呈 
现 测试 报告 。SonarQube 服 务 器 将 代码 规则 集 和 分 析 结 有 果 存 储 在 数据 库 
中 ， 缺 陷 则 提交 给 开发 人 员 。 
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图 4-25 ”SonarQube 在 持续 集成 环境 中 的 工作 流程 





下 面 是 Jenkins 流 水 线 脚 本 示例 ， 构 建 过 程 包括 编译 、 部 署 、 单 元 测 
试 和 代码 履 盖 率 分 析 等 。 在 这 些 过 程 完 成 之 后 ，Jenkins 会 自动 调用 
SonarQube Scanners 执 行 代码 静态 测试 ， 测 试 报告 会 目 动 上 传 到 
SonarQube 的 界面 上 。 





pipeline { 
agent none 
stages { 
stage('Build') { 
agent { node { label 'master' } } 
steps { 
dir(env .WORKSPACE){ 
sh "mvn clean org.jacoco:jacoco-maven-plugin:prepare-agent 
install -Dmaven.test.failure.ignore=true" 
junit allowEmptyResults: true, keepLongStdio: true, t 
estResults: 'target/surefire-reports/*.xml' 
sh "mv target/sample-6.6.1-SNAPSHOT.Jjar target/sampl 
e.jar" 


} 
} 
stage('Code Analysis with sonarQube') { 
agent { node { label 'master' } } 
steps { 
dir(env.WORKSPACE){ 


sh "mvn sonar:sonar -Dsonar.host.url=http://****;9000 
-Dsonar.login=sonarkey" 





4.7.4” 目 动 化 测试 报告 的 目 动 生 成 





除 单元 测试 和 代码 静态 测试 以 外 ，BVT、 回 归 测 试 和 性 能 测试 等 自 
动 化 测试 也 可 以 在 持续 集成 环境 中 上 自动 触发 测试 活动 并 生成 测试 报告 。 


下 面 的 Jenkins 流 水 线 脚本 给 出 了 调用 Robot Framework 进 行 自 动 化 
测试 的 示例 。 当 然 ， 你 需要 在 Jenkins 里 安装 相应 的 Robot Framework 插 
件 。 





stage('Robot Framework') { 
agent { node { label 'robot' } } 
steps { 
dir(env .WORKSPACE){ 
checkout([$class: 'GitSCM', branches: [[name: '*/master']] 


doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [|] 
， UserRemoteConfigs: 
[[credentialsId: 'binbin', url: 'https://github.com/zbbkeepgoing/springboo 
t-demo.git']]]) 
sh "pybot -d /opt/workspace/sample/demo.robot" 
step([$class: “RobotPublisher '， 
disableArchiveOutput: false, 
logFileName: 'log.html', 
otherFiles: ''， 
outputFileName: 'output.xml', 
OutputPath: "'.', 
passThreshold: 46， 
reportFileName: 'report.html', 
unstableThreshold: 8]); 


[Se | 

Jenkins 可 以 生成 HTML 格 式 的 报告 ， 就 像 上 面 脚本 里 定义 的 那样 。 
如 果 我 们 想 要 得 到 更 加 美观 的 报告 ， 则 需要 集成 第 3 方 的 测试 报告 生成 
工具 。 报 告 的 生成 有 以 下 两 种 方式 。 

1) 在 Jenkins 中 ， 集 成 测试 报告 生成 工具 ， 然 后 自动 生成 报告 。 

2) 在 自动 化 测试 框架 中 ， 实 现 自 定 义 的 测试 报告 生成 功能 模块 ， 
然后 通过 Jenkins 和 测试 框架 的 集成 生成 测试 报告 。 


对 于 第 1 种 方式 ， 我 们 介绍 3 个 测试 报告 生成 的 工具 : Grafana、 
Allure 和 ExtentReports。 





Grafana 是 一 款 用 Go 语言 编写 的 开源 框架 ， 它 通过 对 采集 数据 的 查 
询 ， 以 可 视 化 的 方式 展现 大 规模 的 指标 数据 ， 是 目前 网 络 架 构 和 应 用 分 
析 中 流行 的 时 序数 据 〈 指 带 有 时 间 惟 的 数据 ) 展示 工具 。 











Grafana 可 以 关联 多 种 数据 源 ， 如 MySQL、InfluxDB 〈 开 源 分 布 式 
时 序数 据 库 ) 等 。 在 Jenkins 中 安装 InfluxDB 插 件 后， 将 每 次 构建 的 信息 
存 入 数据 库 ， 就 可 以 发 送 到 Grafana， 按 照 时 间 顺 序 展示 测试 结果 ， 包 
括 由 单元 代码 覆盖 率 统计 工具 和 代码 分 析 工 具 生 成 的 结果 。 同 时 ， 利 用 
Grafana 可 以 建立 测试 结果 和 测试 指标 的 实时 监控 面板 。 图 4-26 展 示 了 
Jenkins 中 多 个 流水 线 部 普 管 道 每 次 构建 后 的 代码 履 善 率 。 








图 4-26 ”Grafana 展 示 的 代码 履 盖 率 


顺便 提 一 下 ，Grafana 的 功能 还 不 止 于 此 ， 把 它 集成 在 部 署 流水 线 
中 ， 可 以 帮助 我 们 实时 呈现 、 监 控 Kubernetes 容 器 集群 的 负载 情况 ， 包 
括 集群 pod、CPU、 内 存 和 外 部 存储 等 使 用 状态 ， 如 图 4-27 所 示 。 





图 4-27 ”Grafana 监 控 Kubernetes 集 群 负载 


男 一 球 比 较 优 秀 的 测试 报告 框 染 是 Allure， 它 不 但 可 以 提供 如 图 4- 
28 所 示 的 比较 美观 的 测试 结果 ， 而 且 可 以 查看 每 个 测试 用 例 的 测试 结 
果 、 测 试用 例 的 描述 等 








图 4-28 Allure 生 成 的 测试 报告 


下 面 的 Jenkins 流 水 线 脚 本 可 在 上 自动 化 回归 测试 之 后 利用 Allure 目 动 
生成 测试 报告 。 访 脚本 定义 只 有 在 测试 失败 时 才 会 用 邮件 通知 相关 人 
员 ， 但 每 次 都 会 生成 Allure 测 试 报告 ，Allure 报 告 的 链接 会 显示 在 Jenkins 
管理 界面 上 。 具 体 的 配置 方法 ， 读 者 可 以 自行 学 习 。 


pipeline { 
stages { 
stage ('System Regression Test') { 
steps { 


} 
} 


} 
post { 


failure { 
mail to: 'tw@example.com', subject: 'Test report:'" 


} 

always { 
allure results: [[path: '**/build/allure-results']] 
deleteDir() 





只 要 把 Allure 这 样 的 测试 报告 框架 与 持续 集成 环境 进行 集成 ， 束 可 


以 自动 生成 比较 美观 的 测试 报告 。 如 果 团 队 需 要 上 自 定 义 的 测试 报告 以 满 
足 进一步 的 需求 ， 那 么 Allure 还 可 以 与 自动 化 测试 框架 集成 ， 通 过 在 测 
试 脚本 中 添加 Allure 注 解 ， 如 @Story、@Issue、@Attachment， 来 实现 测 
试 报告 的 定制 。 这 些 功 能 包括 关联 用 户 故 事 、 关 联 测试 用 例 、 定 义 测试 
用 例 级 别 、 关 联 缺 陷 和 为 失败 用 例 添加 UI 的 截图 等 。 


ExtentReports 是 一 球 通 过 与 多 个 自动 化 测试 框架 集成 ， 从 而 实现 定 
制 化 测试 报告 的 框架 。 图 4-29 展 示 了 ExtendReport 与 测试 框架 集成 后 生 
成 的 自 定 义 测 试 报告 ， 此 报告 来 自 笔 者 公众 号 “软件 质量 报道 ?里 的 一 篇 
文章 《基于 Spock 的 测试 目 动 化 框架 》。 


Ye 一 





图 4-29 ”ExtentReports 生 成 的 自 定 义 测试 报告 
由 汪 生生 忆 w 十 直上 二 
4.8 测试 分 层 蛇 略 与 金字 挫 模 型 


测试 四 象限 可 以 看 作 整 个 敏捷 测试 的 自动 化 琐 略 ， 而 金字 塔 模 型 更 
倾 品 于 功能 的 目 动 化 测试 策略 ， 一 般 可 以 看 作 上 自动 化 测试 的 分 层 模 型 ， 
即将 一 个 被 测 系 统 分 为 不 同 的 层次 ， 根 据 不 同 的 层次 ， 在 目 动 化 测试 和 








手工 测试 上 有 不 同 的 投入 ， 以 达到 最 优 的 效果 【〔 即 最 局 的 ROI〉。 金 字 
塔 模 型 ， 如 图 4-30 (a) 所 示 ， 它 强 含 以 下 3 个 目 动 化 测试 集 略 。 


。 尽 可 能 实现 单元 测试 的 自动 化 。 目 动 化 测试 在 单元 〈 人 代码) 层 没有 
障碍 ， 而 且 代码 经 常 需要 添加 、 修 改 或 重 构 ， 要 随时 做 回归 测试 ， 
更 需要 束 绪 的 目 动 化 脚本 的 支撑 。 





API 测 试 的 上 自动 化 也 容易 实现 ， 多 年 前 ， 我 们 残 是 从 接口 开始 自动 
化 测试 的 ， 效 果 显 著 ， 目 动 化 测试 率 能 达到 95% 以 上 。 





尽量 不 要 做 基于 UI 的 自动 化 测试 ， 因 为 这 类 脚本 开 友 和 维护 的 成 本 
很 高 ， 执 行 还 不 稳定 。 


图 4-30 (a) 是 金字 塔 模型 的 理想 模式 ， 许 多 公司 做 不 到 ， 主 要 是 
因为 在 单元 测试 上 投入 的 成 本 高 ， 同 时 在 质量 上 没有 那么 高 的 要 求 ， 所 
以 不 少 公司 〈 包 括 互 联网 电 商 、 移 动 App 开 发 团队 等 ) 没有 采用 人 金字塔 
模型 ， 而 采用 的 是 “ 橄 槛 球 ? 便 型 ， 如 图 4-30〈c) 所 示 。 





特别 是 在 微服 务 中 ， 每 个 微服 务 用 九 约 驱动 测试 方法 ， 只 要 验证 被 
调用 的 接口 组 合 (已 实 现 的 业务 逻辑 ) ， 没 有 被 调用 的 接口 “用 不 到 的 
逻辑 ) 束 无 须 测 试 ， 这 样 测试 的 效率 会 更 蝇 ， 避 人 免 不 必 要 的 测试 。 但 如 
果 按 照 金字 塔 模 型 ， 针 对 捅 层 的 单元 进行 充分 测试 ， 其 实 存 在 浪费 问 
题 ， 只 是 这 样 系统 更 健壮 ， 因 为 有 时 接口 会 被 错误 调用 。 





少数 公司 还 在 采用 图 4-30 (b) 所 示 的 模型 一 一 彻底 倒 过 来 的 金字 
塔 模型 ， 这 种 做 法 是 我 们 反对 的 ， 因 此 ， 把 它 称 为 " 反 模 式 ”。 除 上 述 3 


种 模型 以 外 ， 还 有 “冰淇淋 ”模型 等 。 








| 自动 化 


A 测试 \ 
单元 
( a ) 金字 塔 模 塑 的 理想 模式 (b ) 及 模式 (Cc) “橄榄 球 ” 模 型 


图 4-30 ”自动 化 测试 金字 塔 模型 及 其 衍生 模型 





4.9 搭建 敏捷 目 动 化 测试 框架 及 其 案例 分 析 


前 面 己 经 介绍 了 虚拟 化 技术 ， 持 续集 成 /持续 交付 环境 ，DevOps 下 
的 基础 设施 及 目 动 部 署 ， 以 及 BVT 等 。 在 测试 工具 方面 ， 已 经 讲解 了 毅 
态 测 试 的 技术 和 工具 ， 下 面 将 介绍 动态 测试 工具 ， 从 而 形成 一 个 完整 的 





关于 测试 基础 设施 的 体系 。 

如 果 只 是 讨论 工具 ， 可 能 还 不 够 ， 那 么 此 处 的 介绍 会 提升 到 自动 化 
测试 框架 这 个 层次 。 因 为 工具 有 很 多 ， 同 时 更 换 工 具 也 是 比较 容易 的 ， 
这 就 会 导致 频 蚂 更 换 工具 的 情况 ， 是 不 可 取 的 。 因 为 团队 已 经 熟练 使 用 
某 些 工具 并 积累 了 大 量 的 经 验 ， 与 工具 联系 在 一 起 的 还 有 很 多 脚本 ， 这 




















些 无 形 资产 是 值得 保护 的 。 


目 动 化 测试 框架 是 测试 基础 设施 的 核心 部 分 ， 不 但 提供 了 各 种 测试 


服务 ， 如 测试 脚本 的 开发 、 执 行 、 调 试 和 管理 ， 测 试 过 程 的 管理 ， 测 试 
资源 的 管理 ， 以 及 文 持 不 同类 型 的 汕 试 《如 性 能 测试 、 安 全 测试 、 易 用 
性 测试 等 ) 的 执行 与 分 析 ， 而 且 希 望 基于 这 个 框架 ， 让 测试 与 开 及 平 

台 、 持 续集 成 /持续 交付 环境 更 加 融合 ， 构 建 更 局 效 的 研发 平台 。 


4.9.1 目 动 化 测试 框架 的 构成 


我 们 可 以 设想 一 下 目 动 化 测试 的 开发 与 执行 的 场景 。 研 发 人 员 根据 
测试 任务 的 要 求 ， 开 发 和 调试 自动 化 测试 脚本 ， 并 能 基于 脚本 和 测试 环 
境 组 合成 测试 任务 ， 在 下 班 前 预先 安排 好 测试 任务 ， 如 在 茶 个 Web 页 面 
上 提交 测试 任务 ， 而 这 些 任 务 能 够 在 当晚 自动 执行 ， 第 二 天 我 们 一 上 班 
就 可 以 查看 测试 结果 或 浏览 测试 报告 。 如 果 晚 上 的 执行 不 顺利 ， 系 统 则 
会 友 消 晨 或 邮件 给 相关 人 员 ， 让 我 们 检查 并 处 理 存在 的 问题 ， 使 得 测试 
能 够 继续 执行 下 去 。 当 然 ， 如 果 测 试 都 在 半夜 执行 ， 不 适合 人 工 干预 ， 
就 增加 一 些 异常 处 理 机 制 、 重 试 机 制 来 自动 处 理 这 类 问题 。 





这 种 测试 任务 能 够 按 茶 种 机 制 ( 如 定时 机 制 、 版 本 构建 成 功 后 消 忆 
触发 机 制 等 ) 目 动 局 动 执 行 ， 而 且 需 要 自动 发 现 可 用 的 测试 资源 来 执行 
测试 任务 ， 这 依赖 于 资源 监控 和 调度 工具 或 平台 来 完成 ， 并 借助 代理 获 
得 机 器 状态 、 运 行 测试 工具 和 将 测试 日 志 发 送 到 特定 服务 器 上 以 供 分 
析 。 














为 此 ， 我 们 需要 构建 一 个 自己 的 自动 化 测试 框架 ， 该 框 染 不 但 能 够 
集成 测试 脚本 开发 环境 、 测 试 执 行 引擎 、 测 试 资 源 管理 、 测 斌 报告 生产 





器 、 函 数 库 、 测 试 数据 源 和 其 他 可 复 用 模块 等 ， 而 且 可 以 灵活 地 集成 其 
他 各 种 测试 工具 ， 包 括 单 元 测试 工具 、API 测 试 工具 和 UI 测试 工具 等 。 
不 同 于 工具 ， 框 架 只 是 实现 一 个 架构 ， 用 户 可 以 根据 自己 的 需求 进行 填 
充 ， 如 进行 二 次 开发 增加 具体 、 特 定 的 功能 ， 还 可 以 集成 其 他 不 同 的 测 
试 工具 。 图 4-31 展 示 了 目 动 化 测试 框 洪 的 逻辑 结构 ， 该 框架 由 多 个 组 件 
构成 。 















一 


四 机 器 资源 









测试 度量 
与 报告 


数据 统计 | 
与 分 析 












Harness/IDE 





图 4-31 自动 化 测试 框架 的 逻辑 结构 


1) Harness/IDE: 目 动 化 测试 框架 的 核心 ， 相 当 于 “夹具 ”， 框 架 的 


其 他 组 成 部 分 都 能 与 之 集成 ， 而 且 具 有 脚本 的 创建 、 编 辑 、 调 试 和 管理 
等 功能 。 





2) 目 动 化 测试 脚本 的 管理 ， 包 括 公共 脚本 库 、 项 目 归 类 的 脚本 
库 ， 这 部 分 可 以 与 GitHub 这 类 《代码 库 ) 配置 管理 工具 集成 。 


3) 测试 资源 管理 : 增加 、 删 除 和 配置 相应 的 测试 设备 (软件 和 硬 


件 资源 ) ， 并 根据 它们 的 使 用 状态 来 分 配 测试 资源 ， 这 部 分 可 以 与 容器 
管理 工具 集成 。 





4) 测试 数据 管理 : 测试 数据 的 自动 生成 、 存 储 、 备 份 和 恢复 等 ， 
也 可 以 演化 成 一 个 数据 平台 ， 甚 至 是 数据 中 台 。 


5) 开放 的 接口 : 提供 给 其 他 持续 集成 环境 或 其 他 测试 环境 的 集成 
接口 ， 这 种 接口 以 API 形 式 提供 ， 类 似 之 前 提 到 的 “基础 设施 即 代 码 ” 的 
概念 。 


6) 代理 (agent) : 负责 Harness 与 工具 的 通信 ， 控 制 测试 工具 的 运 


7) 任务 安排 《scheduler) : 安排 和 提交 定时 任务 、 事 件 触及 任务 
等 ， 以 便 实 现 无 人 值守 的 自动 化 测试 。 





8) 数据 统计 与 分 析 : 针对 测试 结果 ( 含 测试 工具 运行 产生 的 日 
志 ) ， 生 成 可 读 性 良好 的 测试 报告 (如 HIML 格 式 的 测试 结果 ) ， 如 使 
用 上 文 提 到 的 SonarQube、Allure 等 。 


目 动 化 测试 框 瘀 能 够 与 持续 集成 环境 、 配 置 管 理 系统 和 缺陷 管理 系 
统 等 集成 ， 在 持续 构建 后 ， 和 直接 触及 BVT、 后 续 的 深度 自动 化 测试 。 这 
种 集成 ， 不 但 发 生 在 单元 测试 、 接 口 层次 上 ， 而 且 可 以 实现 在 系统 层 
面 、 业 务 层面 的 测试 。 下 面 我 们 就 介绍 不 同 层次 的 目 动 化 测试 框 染 。 





4.9.2 目 动 化 测试 框架 的 分 次 


结合 前 面 提 到 的 分 层 自动 化 测试 策略 一 一 利用 金字 塔 模型 来 划分 自 
动 化 测试 框架 更 合适 ， 即 从 单元 测试 、 接 口 测试 再 到 UI 层 、 
ATDD/BDD 的 自动 化 测试 框架 。 





。 单元 测试 框架 。 由 JUnit 溃 化 成 单元 测试 框架 家 族 ， 形 成 了 单元 测试 
的 基本 规则 ， 包 含 了 面向 多 种 编程 语言 的 框架 ， 如 JUnit、 
CppUnit、NUnit、PyUnit、JsUnit、QUnit、DBUnit 和 HttpUnit 等 。 
对 于 JavaScript， 还 有 一 些 其 他 的 测试 框架 ， 如 Jasmine、Mocha、 


Buster.JS、PhantomJS、TestSwarm 和 JsTestDriver 等 。 


。 接口 测试 框架 包括 HttpRunner、Karate、API Fortress、Swagger 等 。 
从 框架 的 角度 来 看 ，JMeter、SoapUI、Postman、PyTest、 
APIAutoTest 等 是 接口 测试 工具 ， 还 不 能 算是 框架 。REST Assured 
通常 也 算是 API 框 架 ， 它 更 是 为 了 人 简化 基于 REST 服 务 的 测试 而 建立 
的 Java 领 域 特定 语言 (DSL) ， 但 将 它 与 JUnit 集 成 ， 如 同 
APIAutoTest +TestNG + HttpClient、unittest + Request + 
HTMLRunner 等 的 集成 ， 也 可 形成 接口 测试 框架 。Robot Framework 
与 Requests 库 的 集成 也 能 执行 API 测 试 。 








。 UI 和 上 自动化 测试 框架 包括 面 同 Web 的 Selenium + WebDriver、TestCafe 
和 Cypress， 面 癌 移动 App 的 Appium， 以 及 面 癌 Windows 客 户 端 软件 
的 AutoIT 等 。 对 于 移动 App， 还 有 一 些 自动 化 测试 框架 ， 如 基于 
Android 的 TA 框架 Robotium、Selendroid 和 ATAF 等 ， 基 于 iOS 的 自动 


化 测试 框架 KIF、Kiwi 等 ， 以 及 跨 平 台 的 Ranorex Studio、Calabash 
等 


。 ATDD/BDD 自 动 化 测试 框架 包括 Robot Framework、Ginkgo、 
Cucumber、JBehave/ NBehave/CBehave、SpecFlow、RSpec、 


JDave、Chakram (REST API) 、Concordion、FitrNesse 和 和 Gauge 
等 





敏捷 测试 中 更 推荐 单元 测试 和 基于 接口 的 自动 化 测试 。 如 果 再 进 一 
步 ， ATDD 和 BDD 也 是 敏捷 测试 中 所 推荐 的 ， 它 们 是 更 为 彻底 的 自动 
化 ， 即 让 需求 可 执行 ， 将 需求 变 成 真正 的 活 文档 。 而 基于 UI 的 自动 化 测 
试 框架 更 适合 传统 开发 ， 或 者 说 不 是 为 敏捷 测试 而 生 ， 因 此 ， 我 们 会 重 
点 关注 单元 测试 、 基 于 接口 的 测试 和 支持 ATDD/BDD 的 验收 测试 等 3 类 
自动 化 测试 框架 。 下 面 针 对 这 3 类 框架 ， 各 利用 一 个 工具 做 进一步 的 案 
例 分 析 。 











4.9.3 ”单元 测试 框架 JUnit5 





提 到 单元 测试 框架 ， 不 得 不 说 JUnit， 因 为 它 是 经 典 的 自动 化 测试 框 
架 ， 也 是 事实 上 的 单元 测试 框架 的 业界 标准 。JUnit 的 最 新 版 本 是 JUnit 
5， 它 不 再 是 一 个 单一 的 JAR 包 ， 而 是 由 JUnit platform 〈 平 台 ) 、JUnit 
Jupiter 和 JUnit Vintage 这 3 部 分 组 成 ， 如 图 4-32 所 示 ， 其 新 特性 包括 扩展 
模型 、 髋 套 测 试 、 条 件 测试 和 参数 化 测试 等 。 


。 JUnit platform， 其 主要 作用 是 在 JVM 上 启动 测 试 框架 ， 包 含 一 个 内 
部 的 JUnit 公 共 库 ， 以 及 用 于 测试 引擎 ， 配 置 和 启动 测试 计划 ， 配 置 
测试 套件 的 注释 等 的 公共 API， 同 时 支持 通过 控制 台 (console 


launcher) 命令 、IDE 或 构建 工具 Gradle、Maven 〈 即 借助 surefire- 
provider、gradle-plugin) 等 来 启动 测试 。 


。 JUnit Jupiter 包 含 JUnit 5 最 新 的 编程 模型 〈 注 释 、 类 和 方法 ) 和 扩展 
机 制 的 组 合 Jupiter API) ， 以 及 一 个 测试 引擎 〈test engine) ， 用 
于 编写 和 执行 JUnit 5 的 新 测试 ， 其 中 junit-jupiter-params 为 参数 化 测 
试 提供 支持 。 


。 JUnit Vintage， 一 个 测试 引擎 ， 人 允许 在 平台 上 运行 JUnit 3 和 JUnit 4 


的 测试 用 例 ， 从 而 确保 必要 的 兼容 性 。 
< unt > < ( < testng-ap > 


发 现 并 执行 反 有 完成 
本 的 测试 的 实例 


| junit-vintage~engine | engine | junit-jupiter-engine | testing-engine | 
四 | 
|am 

















= = junit-platform-engine ce 





借助 ServiceLoader 发 现 实现 情 心 安排 执行 


| junit=platform-launcher 





| 选择 其 中 一 个 平台 





| IntelliJ IDEA, Eclipse, Apache, Gradle, etc. 


图 4-32 ”JUnit 5 架构 示意 图 





过 表 4-2 所 示 的 注释 列表 ， 读 者 可 以 感受 到 JUnit 5 的 强大 。 例 
如 ， 扩 a 简单 明了 。 


@ExtendWith({DatabaseExtension.class, WebServerExtension.class}) 


Class MyFirstTests { 








表 4-2 JUnit 5 注释 列表 





表示 一 般 的 测试 方法 。 与 JUnit 4 的 @Test 注 释 不 同 ， 此 注释 不 声 
明 任 何 属性 。 除 非 重 写 这 些 方法 ， 否 则 它们 将 被 继承 























@ParameterizedTest | 表示 参数 化 测试 方法 。 除 非 重 写 这 些 方法 ， 否 则 它们 将 被 继承 














表示 重复 测试 的 模板 /方法 。 除 非 重 写 这 些 方法 ， 否 则 它们 将 被 


@RepeatedTest 
继承 





用 于 动态 测试 的 测试 工厂 类 方法 。 除 非 重 写 这 些 方法 ， 否 则 它 


@TestFactory 、 
们 将 被 继承 





表示 方法 是 作为 被 多 次 调用 的 测试 用 例 的 模板 ， 这 依赖 于 已 注 
@TestTemplate 册 的 提供 者 返回 的 调用 上 下 文 的 数量 。 除 非 重 写 这 些 方法 ， 否 
则 它们 将 被 继承 





























用 于 配置 带 注释 的 测试 类 的 测试 方法 执行 顺序 ， 类 似 于 JUnit 4 
的 @FixMethodOrder 








@TestMethodOrder 




















] 于 为 带 注释 的 测试 类 配置 测试 实例 4 

















人 @TestInstance 











@DisplayName 声明 测试 类 或 测试 方法 的 自 定 义 显 示 名 称 。 这 样 的 注释 不 会 被 
继承 


] 于 声明 性 的 注册 扩展 。 这 样 的 注释 是 继承 的 






































用 于 通过 字段 以 编程 方式 注册 扩展 。 除 非 重 写 ， 否 则 这 些 字段 


@RegisterExtension 




















将 被 继承 





可 以 通过 @ParameterizedTest 定 义 参 数 化 测试 方法 ， 而 且 可 以 和 其 
他 注释 组 合 使 用 ， 指 定 多 个 来 源 ， 包 括 @ValueSource、 
@MethodSource、@CsvSource 和 @ArgumentSource 等 ， 示 例如 下 。 





@ParameterizedTest 
@NullAndEmptySource 
@ValueSourcel(strings = { " " 下 "Nt"，"Nn"” }) 


Void nullenptyAndBlankStrings(String ect { 
assertTrue(text == null || text.trim().isEmpty()); 





} 


4.9.4 API 层 的 目 动 化 测试 框架 Karate 


API 层 的 自动 化 测试 框架 有 很 多 ， 要 选择 适合 自己 的 框架 ， 也 不 是 
容易 的 事情 ， 我 们 可 以 选择 自己 熟悉 的 工具 ， 如 HttpRunner、JMeter 和 和 
Postman 等 。 这 里 介绍 一 个 由 Intuit 公 司 开 发 的 开源 的 API 测 试 框架 
Karate， 它 不 但 提供 了 源 代 码 ， 而 且 提 供 了 比较 完整 的 文档 和 演示 实 
例 ， 值 得 我 们 关注 。 对 于 Karate， 其 官方 网 站 上 列 出 了 30 多 个 优点 〈 特 


性 ) ， 本 书 列 出 其 中 的 10 个 优点 。 


1) 纯 文本 脚本 ， 可 以 调用 其 他 脚本 ， 能 调用 JDK 类 、Java 库 ， 并 具 
有 瞬 入 式 JavaScript 引 擎 ， 可 构建 适合 特定 环境 的 、 可 重复 使 用 的 功能 
库 ， 具 有 民 好 的 可 扩展 性 。 








2) 标准 的 Java/ Maven 项 目 结构 ， 以 及 与 持续 集成 /持续 交付 管道 的 
无 颖 集成 ， 并 支持 JUnit 5。 
3) 优雅 的 DSL 语 法 原生 地 支持 JSON 和 XML， 包 括 JsonPath 和 XPath 


表达 式 ， 窗 盖 数 据 的 输入 和 结果 的 输出 。 


4) 基于 流行 的 Cucumber / Gherkin 标 准 ， 支 持 BDD (Cucumber 场 景 
Scenario Outline 表 ) ， 并 内 置 与 Cucumber 兼 容 的 测试 报告 。 


5) 内 置 对 数据 驱动 测试 的 支持 ， 原 生 支 持 读 取 YAML 甚 至 CSV 文 
件 ， 并 能 够 标记 或 分 组 测试 ， 其 场景 数据 支持 友好 的 JSON、XML 或 其 
独 有 的 payload 生 成 器 方法 。 





6) 全 面 的 断言 功能 ， 容 易 定 位 故障 ， 清 楚 地 报告 哪个 数据 元 系 
4 和 路 径 ) 与 预期 不 符 。 





7) 多 线程 并 行 执 行 ， 内 置 分 布 式 测 试 功能 ， 可 用 于 API 测 试 而 无 须 
任何 复杂 的 “网 格 ? 基 础 架构 ， 从 而 显著 节省 测试 时 间 ， 简 化 测试 环境 准 
备 工 作 。 


8) API mocks or test-doubles 甚 至 可 以 在 多 个 调用 之 间 维 持 CRUD 


的 "状态 *， 从 而 支持 微服 务 和 消费 者 驱动 契约 测试 


9) 模拟 HTTP Servlet， 可 以 测试 任何 控制 器 Servlet。 例 如 ，Spring 
Boot/MVC 或 Jersey/ JAX-RS， 无 须 局 动 应 用 程序 服务 器 ， 可 以 使 用 未 更 
改 的 HTTP 集 成 测试 。 


10) 全 面 文 持 不 同类 型 的 HTTP 调 用 : 
。 SOAP/XML 请求 ; 
。 HTTPS/SSL， 不 需要 证 书 、 密 钥 库 等 ; 
。 HTTP 代 理 服 务 嚣 ; 
。 URL 编 码 的 HTML 表 单数 据 ; 
。 Multi-part 文 件 上 传 、Cookie 处 理 的 支持 ; 
。 HTTP head、 路 径 和 查询 参数 的 完全 控制 ; 
。 WebSocket 支 持 。 


这 里 展示 了 一 个 简单 的 WebSocket 测 试 示例 ， 用 到 了 Given-When- 
Then 这 种 BDD 的 场景 描述 方式 。 





@mock-servlet-todo 
Feature: websocket testing 


Scenario: only listening to websocket messages 
* def handler = function(msg){ return msg.startsWith('{'" } } 
* def socket = karate.webSocket(demoBaseUrl + '/websocket', handler) 


# first we post to the /websocket-controller end-point which will broa 
dcast a message 

# to any websocket clients that are connected-but after a delay of 1 s 
econd 

Given url demoBaseUrl 

And path'websocket-controller’ 

And request { text: 'Rudy' } 

When method post 

Then status 266 

And def id = response.id 


# this line will wait until the handler returns true 
* def result = socket.1isten(5666) 
* match result == { id: '#(id)', content: 'hello Rudy !' } 





4.9.5 ”验收 测试 框架 Ginkgo 





对 于 验收 测试 的 自动 化 测试 框架 ， 比 较 著 名 的 有 前 面 提 到 的 
Cucumber 和 Robot Framework， 这 里 介绍 一 个 用 Go 语言 开发 的 框架 
Ginkgo， 它 可 以 很 好 地 支持 BDD， 拥 有 自己 的 DSL， 包 括 幅 套 的 
Describe、Context 和 When 容器 模块 ，BeforeEach / AfterEach、 

BeforeSuite / AfterSuite、It/ Specify 等 也 一 应 俱全 ， 这 样 就 能 帮助 我 们 组 
织 和 编排 测试 用 例 。 下 面 的 例子 对 测试 用 例 的 业务 场景 的 描述 非常 清 
晰 ， 脚 本 的 可 读 性 良好 ， 这 会 大 大 降低 脚本 后 期 的 维护 成 本 。 





var _ = Describe("Book", func() { 
var ( 
book Book 
err error 
json string 


) 


BeforeEach(func() { 
json = '"{ 
"title":"Les Miserables", 
"author":"Victor Hugo", 
"pages": 1488 


}， 
}) 


JustBeforeEach(func(){ 
book, err = NewBookFromJSON(json) 


}) 


Describe("loading from JSON", func() { 
Context("when the JSON parses succesfully", func() { 
It("should populate the fields correctly", func() { 
Expect (book.Title).To(Equal ("Les Miserables")) 
Expect (book.Author).To(Equal("Victor Hugo")) 
Expect(book.Pages).To(Equal(1488)) 


}) 


It("should not error", func() { 
Expect(err).NotTo(HaveOccurred()) 


}) 





Go 语言 擅长 并 行 处 理 ，Ginkgo 并 行 执行 能 力也 就 是 原生 的 能 力 ， 
实现 了 进程 级 并 行 执 行 测试 的 能 力 ， 这 样 可 以 节省 时 间 ， 稳 定性 也 大 大 
提高 ， 同 时 ， 其 特别 适合 现在 流行 的 容 圳 环境 ， 一 个 容器 执行 一 个 进 
程 ， 可 以 直接 在 每 个 容 希 上 运行 命令 ginkgo -p 来 执行 测试 。 而 且 ， 
ginkgo CLI 工 具 在 并 行 执行 测试 时 ， 会 局 动 一 个 监听 随机 端口 的 服务 来 
实现 不 同 进程 之 间 的 消息 同步 ， 以 及 日 志和 报告 的 聚合 工作 ， 从 而 输出 
整齐 、 美 观 的 日 志和 测试 报告 。 








下 面 介绍 ginkgo 命 令 的 几 个 参数 ， 通 过 不 同 的 命令 参数 可 以 非常 方 
便 地 实现 并 行 执行 、 代 码 履 盖 率 度量 和 zUnit 测 试 包 的 转换 。 





。 ginkgo -nodes = N: 在 N 个 并 行进 程 中 运行 测试 ， 并 实时 输出 一 
致 。 


。 ginkgo -cover: 使 用 Go 语言 的 代码 履 盖 率 工 具 运 行 测试 。 


。 ginkgo -coverprofile=FILENAME: 指定 窗 新 率 文 件 名 称 。 
。 ginkgo -outputdir=DIRECTORY: 指定 履 盖 率 文 件 存 放 目 录 。 
。 ginkgo convert: 将 zUnit 样 式 的 测试 包 转 换 为 Ginkgo 样 式 的 包 。 


通过 ginkgo build、ginkgo -notify 命 令 ， 可 以 分 别 进行 测试 服务 分 
发 、 执 行 工 作 流 时 实现 消息 通知 ， 这 样 很 容易 与 持续 集成 /持续 交付 
(如 Jinkins) 集成 ， 从 而 实现 全 流程 的 自动 化 测试 。 通 过 ginkgo 
bootstrap、 ginkgo generate 可 以 分 别 创建 测试 集 、 测 试用 例 模 板 ， 从 而 更 
好 地 实现 测试 复 用 。 


。 ginkgo build PACKAGE_PATH: 编译 测试 集 为 .test 文件 ， 可 部 署 到 
其 他 地 方 执行 。 





。 ginkgo -notify: 执行 完成 后 触发 通知 ， 需 要 安装 对 应 的 插件 。 
。 ginkgo -r: 递归 执行 文件 夹 内 的 所 有 测试 用 例 。 


。 ginkgo bootstrap: 创建 测试 集 模板 文件 ， 会 生成 zzz_suite_test.go 文 
性 。 


。 ginkgo generate zzz: 创建 测试 用 例 模板 文件 。 


Ginkgo 支 持 第 3 方 测试 库 Gomock 和 Testify， 还 能 与 谷歌 的 Go 语言 的 
Agouti《〈 基 于 浏览 右 的 验收 测试 测试 库 ) 集成 。 


Ginkgo 借 助 Gomega 匹配 章 / 源 言 库 ， 是 Ginkgo BDD 测 试 框架 的 最 


佳 搭 档 ) 的 Eventualy 和 Consistently 两 大 功能 提供 了 原生 的 异步 支持 ， 
能 大 大 降低 “ 死 锁 ” 或 者 因 未 设置 超时 而 异常 卡 住 等 问题 的 风险 ， 提 升 执 
行 的 稳定 性 ， 而 且 能 够 减少 没 必要 的 等 待 时 | 间 ， 示 例如 下 。 





Eventually(func() []int { 
return thing.SliceImMonitoring 
}, TIMEOUT, POLLING INTERVAL).Should(HaveLen(2)) 


在 针对 分 布 式 系统 进行 集成 测试 时 ，Eventually 功 能 也 很 有 用 ， 示 
例如 下 。 


externalProcess.DoSomethingAmazing() 
Eventually(func() bool { 


return somethingAmazingHappened() 
}).Should(BeTrue()) 





本 章 小 结 


持续 集成 /持续 交付 环境 中 的 上 自动化 测试 包括 整个 研发 过 程 中 的 目 
动 化 测试 ， 为 了 不 让 软件 测试 成 为 敏捷 开发 的 瓶颈 ， 只 有 目 动 化 测试 的 
工具 、 框 架 ， 甚 至 是 测试 平台 是 不 够 的 。 只 有 当 上 自动 化 测试 融入 持续 集 
成 /持续 交付 和 DevOps 环 境 中 ， 才 能 发 挥 更 大 的 威力 ， 把 测试 构建 在 持 
续集 成 和 持续 交付 的 每 一 步 ， 为 开发 活动 提供 持续 的 反馈 。 








DevOps 中 的 测试 基础 设施 也 日 益 完 善 和 强大 ， 在 测试 右 移 的 背景 
下 ， 生 产 环境 已 经 成 为 重要 的 测试 基础 设施 的 一 部 分 ， 需 要 有 效 地 管理 
测试 数据 ， 以 及 监控 系统 运行 状态 、 性 能 ， 获 得 系统 的 可 靠 性 、 性 能 和 
用 户 体验 的 信息 。 





本 章 我 们 总 共 介绍 了 16 类 工具 : 8 类 持续 集成 /持续 交付 环境 中 的 工 
有 具 ， 延 伸 到 DevOps， 从 测试 的 角度 来 说 ， 还 需要 再 掌握 8 类 工具 。 同 时 
介绍 了 验证 基础 设施 状态 和 部 敬 配 置 脚本 的 测试 工具 。 这 些 构成 了 基于 
DevOps 的 测试 基础 设施 。 

















目 动 化 测试 框架 是 测试 基础 设施 的 核心 组 成 部 分 。 目 动 化 测试 包括 
静态 测试 的 技术 和 工具 ， 以 及 动态 测试 工具 。 对 于 静态 测试 ， 我 们 重点 
介绍 了 支持 代码 评审 和 代码 静态 测试 的 技术 和 工具 。 动 态 测 试 的 敏捷 自 
动 化 测试 框架 可 以 按照 自动 化 测试 金字 塔 分 为 4 类 : 单元 测试 框 染 、 接 
口 测试 框架 、UI 自 动 化 测试 框 染 和 ATDD/BDD 目 动 化 测试 框架 。 





再 要 注意 的 是 ， 研 发 团队 需要 选择 适合 自身 业务 需要 和 开发 环境 的 
目 动 化 测试 的 工具 和 框架 。 目 前 ， 有 很 多 优 夯 的 开源 工具 和 框 染 可 供 选 
择 ， 研 发 团队 需要 根据 自身 业务 和 开发 环境 的 需要 选择 合适 的 测试 工具 
和 测试 框 染 ， 更 应 避免 陷入 “重复 造 轮子 ”的 误区 ， 测 试 基础 设施 再 重 
要 ， 也 只 是 为 了 文 持 我 们 把 测试 做 得 更 快 、 更 好 ， 而 不 是 为 了 测试 目 动 
化 而 自动 化 。 











延伸 阅读 


本 章 介 绍 了 持续 交付 和 DevOps 的 相关 内 容 ， 这 是 理解 敏捷 测试 基 
础 设施 的 基础 ， 因 为 软件 测试 只 有 在 实现 了 和 持续 集成 /持续 交付 的 融 
合 才 能 真正 做 到 “敏捷 ?>。《 精 益 创业 : 新 创 企业 的 成 长 思维 》 这 本 书 可 
以 帮助 大 家 更 好 地 理解 持续 交付 和 DevOps， 该 书 作者 在 书 中 提出 了 
MVP 的 概念 : 在 团队 开发 新 产品 时 ， 先 做 出 一 个 简单 的 原型 一 一 最 小 化 


可 行 产 品 (minimum viable product，MVP) ， 这 个 原型 的 目标 是 为 了 以 
最 小 的 代价 验证 商业 假设 ， 把 产品 尽快 推 回 市 场 ， 从 客户 反馈 中 持续 学 
快速 迭代 ， 最 终 找 到 正确 的 方向 。 这 本 书 的 思想 不 但 适用 于 一 个 新 
产品 最 初 的 开发 ， 而 且 可 以 延伸 到 持续 交付 的 每 一 次 达 代 中 。 这 种 以 精 
苯 思 想 为 核心 的 产品 开发 模式 正好 也 符合 持续 交付 的 敏捷 原则 ， 每 次 计 
划 小 批量 的 功能 特性 ， 快 速 交 付 到 客户 手中 ， 快 速 验 证 新 功能 的 产品 价 
值 并 根据 市 场 反 馈 快速 调整 。 


A 


由 


第 5 章 ”测试 左 移 更 体现 敏捷 机 试 的 价值 


于 便 


5.1.1 可 测试 性 的 概念 
5.1.2 需求 、 设 计 和 代码 等 不 同 层 次 的 可 测试 性 
5.1.3 用 户 故事 的 可 测试 性 和 ATDD 

5.1.4 ATDD 与 TDD CUTDD ) 的 关系 
5.1.5 如 何 县 体 实施 ATDD 









5.1 没有 ATDD， 就 没有 用 户 
故事 的 可 测试 性 










5.2.1 产品 价值 是 基础 
5.2 产品 价值 分析 商业 画布 /5 2 二 
多 响 地 图 与 事 地 图 ES 
影响 地 图 与 用 户 故事 地 图 7 


5.2.4 用 户 故事 地 图 





5.3.1 通用 的 评审 标准 
5.3 从 Epic 到 用 户 故 事 完成 需求 评审 5.3.2 Epic 的 评审 
5.3.3 用 户 故 事 的 评审 





5.4.1 设计 评审 的 价值 和 重要 性 
5.4.2 如 何 完成 架构 评审 


和 5.4 不 可 忽视 的 设计 评审 5.4.3 有 层次 的 ( 组件 ) 评审 
第 5 章 ”测试 左 移 更 i 
体现 敏捷 测试 的 价值 5.4.4 接口 定义 的 评审 
5.4.5 设计 的 可 测试 性 





5.5.1 什么 是 BDD 
5.5.2 BDD 和 测试 的 关系 

5.5.3 现 有 的 BDD 自 动 化 测试 框架 
5.5.4 BDD 实 例 
5.5.5 BDD 实 践 中 的 常见 问题 










5.5 BDD 及 其 自动 化 实践 








5.6.1 什么 是 实例 化 需求 
5.6 再 进一步 ， 让 实例 化 需求 落地 5.6.2 实例 化 需求 的 过 程 
5.6.3 RBE 的 自动 化 实现 





5.7.1 为 何 TDD 是 必需 的 
5.7.2 如 何 做 好 TDD 
5.7.3 UTDD 测 试 原 则 
5.7.4 UTDD 的 具体 实践 


5.7 单元 测试 是 否 必 须 TDD 





测试 左 移 是 指 让 测试 尽早 开始 ， 把 测试 活动 左 移 到 需求 分 析 阶 段 ， 
目的 是 及 时 发 现 研 发 前 期 的 错误 ， 避 免 将 错误 带 到 后 面 的 研发 活动 中 。 
敏捷 更 提倡 团队 对 质量 负责 ， 以 及 预防 缺陷 胜 于 发 现 缺 陷 ， 这 两 点 束 意 
味 痢 我 们 要 构建 出 高 质量 的 产品 ， 需 要 把 质量 构建 推 癌 源头 一 一 产品 需 
求 ， 只 有 正确 的 需求 才 会 驱动 出 正确 的 产品 。 





测试 左 移 通过 持续 地 对 产品 需求 和 设计 进行 评审 ， 及 时 发 现 需求 定 
义 和 设 计 中 的 问题 。 除 此 之 外 ， 测 试 左 移 还 包括 代码 评审 ， 以 及 让 开发 
人 员 做 更 多 的 测试 、 加 强 单元 测试 、 持 续集 成 等 ， 这 些 在 敏捷 开发 中 成 
为 了 核心 实践 。 而 TDD/ATDD 是 更 为 彻底 的 测试 左 移 ， 测 试 在 前 ， 一 次 


把 事情 做 对 ， 即 零 缺陷 质量 管理 思想 在 软件 研发 中 的 实践 ， 从 而 帮助 企 
业 市 省 研发 成 本 。 





5.1 没有 ATDD， 就 没有 用 户 故 事 的 可 测试 性 


我 们 在 第 3 章 介绍 敏捷 团队 中 的 专职 的 测试 人 员 时 ， 提 到 过 测试 人 
员 的 贡 任 之 一 是 对 软件 的 可 测试 性 进行 把 天 。 可 测试 性 是 测试 的 基础 和 
前 提 ， 用 户 故 事 的 可 测试 性 束 是 需求 的 可 测试 性 。 雷 求 没有 可 测试 性 ， 
谈 何 测试 ? 在 本 节 中 ， 我 们 就 先 讨论 什么 是 可 测试 性 、 可 测试 性 的 不 同 
层次 ， 再 讨论 如 何 通过 ATDD 提 高 用 户 故事 的 可 测试 性 。 


5.1.1 可 测试 性 的 概念 
软件 的 可 测试 性 ， 从 字面 上 的 意思 来 说 ， 是 指 一 个 系统 能 不 能 进行 


测试 。 从 理论 上 来 讲 ， 可 训 试 性 基本 上 是 由 可 观察 性 和 可 控制 性 构成 
的 ， 还 可 以 包括 可 预见 性 。 系 统 的 可 控制 性 和 可 观察 性 如 图 5-1 所 示 。 








要 被 测 系统 


可 控制 且 可 观察 组 件 1 
不 可 控制 但 可 观察 组 件 
可 控制 但 不 可 观察 组 件 





























不 可 控制 且 不 可 观察 组 件 

















图 5-1 可 控制 性 和 可 观察 性 的 示意 图 





可 观察 性 〈observability) 是 指 在 有 限 的 时 间 内 使 用 输出 描述 系统 
当前 状态 的 能 力 。 系 统 具 有 可 观察 性 意味 痢 一 定 要 有 和 输出， 没有 输出 残 
不 能 了 解 系统 当前 处 于 什么 状态 ， 也 就 不 能 确定 系统 行为 表现 是 否 
确 。 











可 控制 性 《〈controllability) 是 指 在 特定 的 合理 操作 情况 下 ， 整 个 配 
置 空间 操作 或 改变 系统 的 能 力 ， 包 括 状态 控制 和 输出 控制 。 系 统 共 有 可 
控制 性 表明 一 定 要 有 和 输入， 只 有 通过 输入 才能 控制 系统 。 





理解 了 可 观察 性 和 可 控制 性 后 ， 可 预见 性 (predictability〉 也 就 好 
理解 了 ， 就 是 在 一 定 的 输入 条 件 下 ， 输 出 的 结果 是 可 以 预测 的 ， 这 样 我 
们 就 可 以 给 出 系统 的 预期 行为 或 预期 结果 ， 用 于 测试 用 例 或 自动 化 测试 
脚本 的 设计 中 。 


在 此 基础 上 ， 我 们 可 以 重新 理解 一 下 可 测试 性 : 通过 被 测 系统 提供 
的 接口 对 系统 进行 操作 ， 并 通过 观察 到 的 输出 结果 了 解 系统 的 状态 是 否 
符合 预期 。 如 果 一 个 系统 缺乏 可 控制 性 和 可 观察 性 ， 那 么 可 以 通过 增加 
接口 的 方式 ， 使 其 可 以 被 控制 或 产生 输出 。 手 工 测 试 一 般 通 过 UI 这 样 的 


接口 对 软件 系统 进行 控制 并 观察 结果 。 





在 敏捷 测试 中 ， 没 有 上 自动 化 测试 万 万 不 行 ， 而 自动 化 测试 对 可 测试 
性 提出 更 高 的 要 求 ， 因 为 自动 化 测试 更 需要 明确 的 输入 并 对 输出 结果 进 
行 明确 的 验证 ， 而 且 提 倡 基 于 金字 塔 模型 的 分 层 测 试 。 这 就 要 求 系统 不 
但 具备 面向 UI 的 可 测试 性 ， 比 如 稳定 的 UI 和 方便 的 元 系 定 位 方式 ， 而 且 
在 设计 和 开发 中 尤其 应 该 考虑 单元 测试 和 API 测 斌 的 可 调试 性 。 














人 工 智能 软件 的 可 测试 性 是 一 个 挑战 ， 因 为 缺乏 可 预见 性 ， 不 太 容 
易 事 先 定义 好 Test Oracle 来 验证 输出 结果 是 否 符 合 预 期 。Test Oracle 可 
以 翻译 为 测试 预言 ， 就 是 决定 一 项 测试 是 否 通 过 的 判断 机 制 。 谷 歌 在 
2018 年 公布 了 用 于 自然 语言 处 理 (natural language processing，NLP) 技 
术 的 BERT (bidirectional encoder representations from transformers〉 模 
型 ， 这 个 模型 通过 超过 3 亿 个 参数 提供 了 强大 的 语句 预测 能 力 。 但 是 ， 
模型 处 理 的 结果 需要 人 类 去 综合 判断 分 析 是 人 否 正 确 ， 并 且 需 要 理解 参数 
微调 融 来 的 变化 。 不 过 ， 目 前 人 们 也 在 探索 如 何 解决 这 些 问 题 ， 第 10 草 
会 讨论 人 工 智 能 系统 的 测试 设计 与 执行 。 























5.1.2 需求 、 设 计 和 代码 等 不 同 层 次 的 可 测试 性 


一 个 软件 系统 的 可 测试 性 不 仅 是 在 代码 开发 环节 需要 考虑 的 事情 ， 
在 需求 说 明和 系统 设计 层面 更 应 该 保证 可 测试 性 。 











。 需求 的 可 测试 性 ， 在 敏捷 开发 中 就 是 用 户 故事 的 可 测试 性 ， 用 户 故 
事 中 对 需求 的 描述 要 做 到 清晰 、 准 确 ， 并 且 可 以 通过 测试 来 验证 。 


。 设计 的 可 测试 性 ， 是 指 通 过 设计 来 确保 系统 的 特性 具有 可 控制 性 、 
可 观察 性 。 这 包括 系统 架构 的 设计 、UI 的 设计 、 接 口 的 设计 等 。 软 
件 系统 应 遵循 “高 内 聚 、 低 厢 合 ”的 设计 思想 ， 子 系统 之 间 、 模 块 之 
间 ， 以 及 类 对 象 之 间 尽 量 减少 不 必要 的 依赖 ， 提 供 对 外 的 接口 以 提 
高 单个 组 件 的 可 测试 性 。 系 统 设计 尽量 采用 开放 、 成 熟 的 分 层 设 计 
模式 和 框 杂 ， 有 助 于 降低 子 系统 或 模块 之 间 的 耦合 ， 同 时 接口 定义 
要 清晰 。 采 用 简单 、 统 一 的 日 志 处 理 方 式 ， 方 便 上 自动 化 测试 框架 进 
行 日 志 收 集 及 处 理 。 











代码 的 可 测试 性 ， 按 照 设计 规范 进行 编程 :一 方面 要 保证 设计 中 对 
可 测试 性 的 要 求 和 设想 得 到 实现 ， 即 遵循 设计 实现 了 系统 的 分 层 架 
构 、 模 块 之 间 的 接口 等 ， 男 一 方面 ， 需 要 如 循 有 助 于 提高 单元 测试 
可 测试 性 的 代码 规范 ， 比 如 单一 职责 、 依 赖 倒置 等 面 癌 对 象 编程 的 
代码 设计 原则 。 





5.1.3 ”用户 故事 的 可 测试 性 和 ATDD 


敏捷 开发 提倡 “可 工作 的 软件 胜 于 完备 的 文档 ”， 强 调 开 发 团队 成 员 
之 间 通 过 沟通 来 淤 清 需 求 ， 这 束 容 易 造成 文档 质量 不 高 、 需 求 描述 不 清 
晰 。 敏 捷 采 用 用 户 故 事 的 形式 对 需求 进行 描述 ， 一 个 用 户 故事 通常 按照 
下 列 的 格式 “模板 〉 来 表述 。 





As a <Role>, I want to <Activity>, so that <Business Value>. 








作为 一 个 < 用 户 角 色 >， 我 想 要 < 活动 >， 以 便于 < 商业 价值 >。 


用 户 故 事 示 例 : 








作为 购物 网 站 的 买 家 ， 我 想 要 通过 了 商品 名 称 查 询 历史 订单 ， 以 便 查 
看 某 个 订单 的 详细 信息 。 


用 户 故 事 应 该 以 业务 语言 来 描述 ， 而 不 是 使 用 技术 语言 ， 例 
如 , “我 要 实现 微服 务 A 的 一 个 API 供 微服 务 B 调 用 ” 束 不 是 一 个 好 的 用 户 
故事 。 同 时 ， 用 户 故 事 必须 是 可 测试 的 ， 要 不 然 怎 么 验证 用 户 故事 的 实 


现 是 不 是 符合 需求 。 








在 实际 工作 中 ， 也 许 你 经 常会 碰 到 这 些 情况 : 某 个 用 户 故 事 的 描述 
大 简单， 每 个 看 到 用 户 故 事 的 人 ， 其 理解 都 不 一 样 ， 但 产品 负责 人 可 能 
和 开发 人 员 有 过 面对面 的 沟通 ， 开 及 人 员 基 本 知道 怎么 实现 ， 但 测试 人 
员 不 清楚 。 于 是 测试 人 员 就 奶 痢 开发 人 员 问 这 个 用 户 故 事 完 竟 要 实现 到 
什么 程度 ? 开 及 人 员 会 说 : 别 乱 ， 等 过 两 天 ， 我 做 好 了 给 你 和 产品 负责 
人 演示 一 下 ， 就 清楚 了 ， 如 有 果 你 们 觉得 不 行 ， 我 再 改 。 看 似 态度 很 好 ， 
但 测试 人 员 除 了 等 待 能 做 什么 吗 ? 根本 无 法 设计 测试 用 例 或 开 肥 自动 化 
脚本 ， 更 别 说 在 编码 之 前 参与 需求 评审 了 。 




















功能 性 的 用 户 故 事 还 好 ， 非 功能 性 的 用 户 故 事 不 可 测 问题 更 大 。 例 
如 ， 用 户 故 事 描述 是 这 样 的 : 作为 一 个 注册 用 户 ， 我 希望 能 够 快速 登录 
到 系统 。 那 么 ， 你 会 问 ， 究 竞 多 快 才能 算 快 ?1 秒 还 是 3 秒 ? 


为 了 保证 用 户 故 事 是 可 测试 的 ， 需 要 对 用 户 的 实际 需求 有 一 个 明确 





的 说 明 ， 这 就 是 用 户 故 事 的 验收 标准 。 例 如 ， 你 陪读 上 面 那个 用 户 故 事 
示例 ， 会 有 如 下 疑问 。 


没 


查询 历史 订单 时 ， 能 够 查询 多 长 时 间 的 历史 订单 ?” 是 最 近 一 年 的 还 
征 没 有 时 间 限 制 ? 





是 否 文 持 模 糊 查 询 ? 


如 采 碍 到 多 个 ， 那 么 如 何 显示 ? 


如 果 没 有 碍 到 ， 那 么 给 出 什么 提示 ? 


查看 订单 的 详细 信息 时 ， 其 中 完 竟 包含 哪些 项 ? 


竟然 还 有 这 么 多 问题 不 清楚 ， 而 验收 标准 就 是 要 让 这 些 问 题 都 有 答 


， 因 此 我 们 为 这 个 用 户 故事 示例 增加 相关 的 验收 标准 : 


1) 默认 是 查询 过 去 一 年 的 历史 订单 ; 


2) 如 果 没 伍 到 ， 那 么 询问 用 户 是 否 选 择 一 个 查询 的 时 段 ; 


3) 文 持 模 糊 俘 询 ; 





4) 按 匹 配 度 来 排序 ， 而 不 是 按时 间 排 序 ; 








5) 每 页 最 多 显示 10 个 记录 ; 


6) 碍 到 后 只 显示 订单 号 、 丙 品名 称 、 价 格 和 日 期 





7) 如 果 想 继续 碍 看 ， 那 么 再 单 击 订单 查看 ; 


这 样 ， 所 要 实现 的 用 户 故 事 束 清楚 了 ， 也 可 以 验证 了 。 如 宋 没 有 明 
确 的 验收 标准 ， 就 没有 用 户 故 事 的 可 测试 性 。 用户 故 事 的 验收 标准 不 但 
让 测试 有 据 可 依 ， 而 且 由 于 列 出 了 各 种 条 件 ， 开 发 人 员 在 实现 用 户 故事 
时 就 不 容易 犯错 误 ， 代 码 质量 也 会 高 得 多 。 也 正 因为 用 户 故 事 的 验收 标 
准 澄清 了 需求 ， 避 免 了 理解 上 的 不 一 致 ， 所 以 有 利于 开发 和 测试 的 协 
作 ， 减 少 沟通 成 本 ， 并 提高 开 及 效率 。 








这 就 是 为 什么 我 们 提倡 在 敏捷 开 友 中 推行 ATDD: 这 种 模式 在 开发 
设计 、 编 写 代 码 之 前 ， 先 明确 《定义 ) 每 个 用 户 故 事 的 验收 标准 ， 再 基 
于 用 户 故 事 的 验收 标准 进行 开 友 ;这 种 模式 保证 了 在 团队 协作 的 基础 上 
开发 出 正确 的 需求 ， 同 时 也 保证 了 用 户 故 事 的 可 测试 性 ， 推 行 这 种 模式 
更 能 体现 我 们 之 前 强调 的 “质量 是 构建 出 来 的 “预防 缺陷 比 发 现 缺 陷 更 
有 价值 ”。 








5.1.4 ATDD 与 TDD (UTDD) 的 关系 


测试 驱动 开发 〈test-driven development，TDD) 是 指 测试 在 前 、 开 
发 在 后 的 开发 实践 ， 提 倡 在 编程 之 前 ， 先 写 测 试 脚本 或 设计 测试 用 例 。 
TDD 在 敏捷 开发 模式 中 被 称 为 “测试 在 前 的 编程 ”(test-first 


programming) 。 











TDD 中 测试 在 前 的 理念 一 方面 促使 开发 人 员 在 编码 之 前 思考 软件 系 
统 的 应 用 场景 、 异 党 情况 或 边界 条 件 ， 避 免 在 代码 中 犯 较 多 的 错误 ; 力 
一 方面 也 是 为 了 让 开发 人 员 对 编写 、 修 改 代码 有 足够 的 信心 ， 代 码 的 质 
量 可 以 通过 测试 来 验证 。 敏 捷 开 发 往往 是 快速 迭代 ， 程 序 设 计 不 足 ， 因 
此 经 名 需要 不 断 重 构 代 码 ， 而 重 构 的 前 提 是 测试 就 绪 ， 这 样 重 构 的 质量 
就 可 以 通过 运行 已 有 的 测试 得 到 快速 反馈 。 因 此 ， 有 了 TDD， 程 序 员 就 
有 展 气 进行 设计 或 代码 的 快速 重 构 ， 有 利于 快速 迭代 和 持续 交付 。 

















重 构 是 指 在 不 改变 代码 外 在 行为 的 前 提 下 对 代码 做 出 修改 。 


一 一 《 重 构 : 改善 既 有 代码 的 设计 》 


ATDD 和 UTDD 都 属于 TDD 思 想 指导 下 的 优秀 实践 ， 可 以 看 作 TDD 
具体 实施 过 程 的 两 个 层次 ， 如 图 5-2 所 示 。 

1) ATDD 发 生 在 业务 层次 ， 在 设计 、 写 代码 前 就 明确 需求 〈 用 户 
故事 ) 的 验收 标准 。 

2) UTDD 发 生 在 代码 层次 ， 在 编码 之 前 写 单元 测试 脚本 ， 然 后 编 


写 代码 直到 单元 测试 通过 ， 这 里 的 UTDD 相 当 于 传统 概念 〈 如 极限 编 
程 ) 的 TDD。 


验收 
测试 





图 5-2 ATDD 和 UTDD 之 间 的 关系 


在 过 去 的 开发 实践 中 ，UTDD 在 备 受 推演 的 同时 ， 也 有 广泛 且 持 入 
的 争议 。 例 如 ， 戴 维 . H. 汉 松 是 著名 的 Web 开 发 框架 Ruby on Rails 的 开 
发 者 ， 他 在 2014 年 发 表 了 一 篇 文章 《TDD 已 “ 死 ?， 测 试 “ 永 生 ”》 
(“TDD is dead. Long live testing”) ， 对 TDD (文中 的 TDD 实 际 上 指 
UTDD) 提出 了 公开 的 质疑 和 否定 。 汉 松 认为 ，TDD 引 导 大 家 更 重视 单 
元 测试 ， 而 单元 测试 为 了 能 执行 得 足够 快 ， 大 量 采 用 mock 技 术 隔离 依 
赖 对 象 ， 几 干 个 测试 脚本 在 几 秒 内 或 能 运行 完 ， 但 是 根本 验证 不 到 系统 
集成 后 真正 的 业务 功能 。 因 此 ， 汉 松 认为 不 应 该 过 分 重视 单元 测试 ， 而 
应 该 多 做 端 到 端的 系统 测试 。 





这 篇 文章 一 发 表 就 引发 了 广泛 讨论 ， 赞 成 者 认为 说 出 了 自己 的 心 
声 ， 当 然 也 趁机 表达 了 自己 的 意见 ， 比 如 : 工期 紧 、 时 间 短 ， 根 本 来 不 
及 写 单元 测试 ， TDD 对 开发 人 员 的 要 求 过 高 ， 推 行 的 最 大 问题 在 于 很 多 
开发 人 员 不 会 写 测试 用 例 ， 也 不 会 重 构 代 码 。 反 对 者 则 认为 汉 松 对 TDD 
的 理解 是 片面 的 、 不 正确 的 ， 因 为 汉 松 的 文章 其 实 把 TDD 等 同 于 
UTDD，TDD 中 的 测试 等 同 于 单元 测试 ， 而 忽略 了 TDD 还 包括 ATDD。 





这 里 暂时 不 对 UTDD 进 行 详细 讨论 ， 就 目前 的 情况 来 看 ，UTDD 虽 
然 没 有 “ 死 ”， 但 推行 效果 也 不 好 。 我 在 2020 年 年 初 公 布 了 2019 年 软件 测 
试 调查 结果 ， 其 中 显示 只 有 2196 的 团队 在 做 静态 代码 分 析 、 单 元 测试 ， 
更 别提 UTDD 了 。 





而 相 比 UTDD， 面 向 业务 层面 的 ATDD 推 行 起 来 就 比较 容易 ， 而 且 
是 必需 的 ， 因 为 需求 模糊 、 需 求 不 具有 可 测试 性 ， 推 行 敏捷 、 重 视 研发 
效能 的 研发 团队 能 接受 吗 ? 模糊 的 需求 往往 意味 着 返工 和 浪费 ， 没 有 可 
测试 性 也 就 意味 着 无 法 开展 测试 。 因 此 ， 团 队 按 照 验 收 标 准 来 实现 用 户 
故事 ， 以 终 为 始 ， 是 不 是 理所当然 ? 





5.1.5 ”如 何 具 体 实施 ATDD 


在 项 目 中 实施 ATDD， 一 般 是 以 BDD 结 合 需 求实 例 化 RBE) 落地 
的 ， 如 果 单 独 实施 ATDD， 也 是 可 以 的 ， 就 是 在 需求 分 析 阶 段 ， 团 队 协 
同 工 作 ， 为 每 个 用 户 故 事 添加 相应 的 、 一 致 认可 的 验收 标准 。 在 每 一 次 
迭代 结束 前 ， 团 队 成 员 根据 验收 标准 进行 用 户 故 事 的 验收 测试 。 





而 采用 BDD 模 式 相 对 来 说 更 好 ， 因 为 BDD 相 当 于 ATDD 的 实例 化 ， 
以 结构 化 的 语言 将 验收 标准 更 加 明确 化 。 本 章 后 续 会 介绍 如 何 实 践 BDD 
和 RBE。 








5.2 产品 价值 分 析 : 商业 画布 、 影 啊 地 图 与 用 户 
故事 地 图 


为 什么 需要 在 敏捷 测试 中 讨论 产品 价值 分 析 ? 


首要 原因 是 我 们 应 该 坚持 业务 驱动 测试 ， 从 业务 的 角度 出 发 进行 测 
试 需求 分 析 、 测 试 设计 并 制定 测试 计划 。 当 一 个 项 目 开 始 进行 测试 时 ， 
要 清楚 项 目的 上 下 文 ， 这 束 是 敏捷 测试 中 “上 下 文 驱动 ”的 思维 方式 ， 而 
产品 和 业务 是 最 重要 的 测试 上 下 文 之 一 。 








再 者 ， 敏 捷 特别 强调 交付 “价值 ”给 客户 ， 团 队 必 须 开 发 对 客户 有 价 
值 的 产品 。 因 此 ， 无 论 是 开发 还 是 测试 ， 都 需要 关注 产品 的 价值 。 测 试 
有 具 有 保证 质量 的 责任 ， 之 前 谈 质 量 ， 更 多 是 从 质量 模型 所 定义 的 质量 特 
性 《如 功能 、 性 能 和 安全 性 等 ) 出发， 而 在 敏捷 开发 中 ， 从 客户 价值 出 
发 更 有 意义 。 


产品 价值 分 析 也 就 是 对 业务 需求 进行 分 机 ， 需 求 阶段 的 测试 活动 是 
需求 评审 ， 敏 捷 开发 中 的 需求 评审 是 伴随 着 十 求 分 析 持 续 进 行 的 ， 因 此 
做 好 需求 评审 的 前 提 是 团队 在 业务 需求 分 析 中 的 集体 参与 和 充分 协作 。 








5.2.1 产品 价值 是 基础 











产品 价值 是 软件 研发 的 基础 ， 用 户 只 有 认可 产品 的 价值 才 会 购买 并 
使 用 它 。 敏 捷 团 队 首 先 怖 要 了 解 的 是 产品 可 以 带 给 用 户 什么 价值 ， 以 及 
谁 才 是 目标 用 户 ， 其 次 才 是 需求 分 析 和 功能 特性 的 实现 。 在 传统 的 开发 
模式 中 ， 研 发 团队 往往 不 太 关 心 公司 做 一 个 产品 的 目的 是 什么 ， 只 知道 
是 由 产品 经 理 给 出 建议 ， 由 高 层 官 理 者 来 做 决定 ， 最 后 落实 到 研发 团 
队 。 而 敏捷 团队 应 该 是 自 组 织 的 、 全 功能 型 团队 ， 产 品 的 价值 分 析 是 团 





队 的 重要 任务 。 


根据 PMI (Project Management Institute) 发 布 的 年 度 报 告 ， 在 2017 
年 有 149% 的 IT 项 目 宣告 失败 ， 其 中 的 39% 是 因为 不 正确 的 产品 需求 导致 
的 ， 这 也 是 项 目 失败 的 首要 原因 。 为 什么 会 这 样 呢 ? 我 们 可 以 看 看 图 5- 
3， 它 用 漫画 的 形式 形象 地 描述 了 客户 的 需求 是 如 何 一 步 步 “ 走 样 "， 最 
后 “面目 全 非 ”* 的 。 参 与 项 目的 每 个 角色 对 需求 的 理解 都 不 一 样 ， 需 求 文 
档 又 很 简单 ， 客 户 的 需求 主要 靠 角 色 之 间 的 沟通 和 交流 来 传递 ， 最 后 做 
出 来 的 东西 和 客户 想 要 的 结果 有 很 大 偏差 。 

















用 户 对 自己 的 需求 ”产品 经 理 对 需求 的 ”业务 分 析 师 定义 。 开发 人 员 实现 的 


测试 人 员 拿 到 的 ”销售 人 员 读 大 了 
往往 并 不 清 荡 理解 产生 偏差 有 产品 似是而非 产品 功能 


产品 根本 不 可 用 





客户 真正 需要 的 
产品 其 实 很 简单 


9 
需求 文档 一 片 空白 ” 运 维 人 员 只 能 部 署 。 客 户 为 想象 中 的 非 售后 服务 处 理 问题 


市 场 宣传 做 得 不 
很 有 限 的 功能 凡 体 验 买 单 的 方式 简单 和 粗暴 。 切实 际 


图 5-3 ”一 个 秋千 的 故事 


有 意思 的 是 ， 第 一 张 图 里 客户 揪 述 的 需求 和 最 后 一 张 图 里 所 揭示 的 
客户 真正 的 需求 也 不 一 样 ， 正 如 乔布斯 所 说 ， 客 户 其 实 不 知道 自己 真正 
需要 什么 。 但 根本 的 原因 在 于 一 开始 就 没有 挖掘 出 客户 真正 的 需求 。 福 
特 汽车 公司 的 创始 人 至 利 :福特 曾经 说 过 : “如 末 我 当年 去 问 顾客 想 要 什 

么 ， 他 们 肯定 会 告诉 我 ， 他 们 需要 一 匹 更 快 的 马 。” 客 户 真实 的 需求 是 











一 匹 马 吗 ? 不 ， 他 们 真正 的 需求 是 “更 快 的 交通 工具 ”。 


由 此 可 见 ， 理 解 用 户 真 正 想 要 什么 进而 交付 满足 需要 的 产品 ， 并 不 
一 件 容易 的 事 ， 也 不 要 假设 产品 经 理 要 求 你 实现 的 功能 一 定 是 客户 真 
正 想 要 的 。 在 做 产品 之 前 ， 多 问 问 为 什么 用 户 需要 这 个 产品 或 者 东 个 功 
能 特性 ， 也 许可 以 帮助 团队 纠正 需求 的 偶 差 或 者 发 现 航 忽略 的 隐 性 需 





讨 








下 面 介绍 的 3 球 工 具 可 以 帮助 我 们 明确 产品 价值 和 产品 定位 ， 以 便 
更 好 地 进行 需求 分 析 和 管理 。 它 们 有 一 个 共同 的 特点 ， 就 是 在 一 页 纸 上 
可 以 包含 所 有 的 内 容 ， 特 别 适 合 敏捷 开发 模式 ， 也 特别 适合 敏捷 团队 进 
行 需求 方面 的 沟通 和 证 清 ， 是 非常 高 效 的 沟通 工具 。 





5.2.2 ”商业 画布 


“商业 男 布 2 的 概念 来 和 目 《商业 模式 新 生 代 》 这 本 书 ， 全 称 是 商业 模 
式 画 布 (Business Model Canvas) 。 它 是 一 个 适合 敏捷 的 商业 模式 分 析 
有 具 ， 可 以 帮助 研发 团队 快速 地 对 产品 的 价值 和 市 场 定 位 有 一 个 整体 的 


商业 模式 定义 : 


商业 模式 描述 了 企业 如 何 创 造价 值 、 传 递 价值 和 获取 价值 的 基本 原 
理 。 


一 一 《商业 模式 新 生 代 》 





商业 画布 由 9 个 模块 组 成 ， 如 图 5-4 所 示 。 每 个 模块 其 实 有 很 多 种 可 
能 性 和 蔡 代 方案 ， 分 析 的 目标 就 是 从 这 些 可 能 的 方案 里 找到 最 佳 的 组 
合 。 好 的 商业 模式 往往 不 是 一 跃 而 就 的 ， 需 要 在 经 营 过 程 中 不 断 调整 ， 
比如 阿里 巴巴 最 早 的 业务 是 企业 对 企业 形式 的 ， 但 今天 更 有 价值 的 是 淘 
宝 、 天 猫 、 蚂 蚁 金 服 等。 一 旦 企业 形成 极 具 产品 价值 的 商业 模式 ， 即 使 
企业 在 短期 甚至 很 长 一 段 时 间 不 能 盔 利 ， 但 在 好 的 商业 模式 下， 赚钱 可 

能 就 是 迟早 的 事 ， 比 如 亚马逊 ， 成 立 于 1994 年 ， 直 到 2015 年 才 实 现 第 一 
次 季度 伪 利 ， 现 在 的 市 值 早已 超过 万 亿 ， 远 远 甩 开 零售 巨头 沃尔玛 。 








研发 团队 可 以 用 商业 画布 去 收集 相关 信息 作为 需求 分 析 的 输入 。 如 
打 能 邀请 产品 经 理 坐 下 来 一 起 完成 一 个 产品 的 商业 画布 ， 一 边 制 作 ， 一 
边 沟通 、 湾 清 ， 效 果 更 好 。 


用 商业 画布 进行 商业 模式 分 析 的 过 程 基 本 如 下 。 
1) 找到 产品 的 目标 客户 群 《客户 细 分 ) 。 

2) 分 析 客 户 的 需求 〈 价 值 主 张 ) 是 什么 。 

3) 探讨 怎样 才能 获取 到 客户 “渠道 ) 


4) 如 何 建 并 和 维持 客户 关系 以 便 留 住 客户 (客户 关系 )。 





关键 合作 伙 什 关键 业务 活动 价值 主张 客户 关系 客户 细 分 
(key partnerships ) | (key activities ) | (value pror (customer (Ci 











成 本 结构 ( cost structure ) 收入 来 源 { revenue streams ) 








图 5-4 ”商业 画布 构造 图 
5) 应 该 用 什么 样 的 方式 实现 鳃 利 ( 收 入 来 源 ) 。 


6) 发 掘 产品 目前 拥有 什么 样 的 核心 资源 ， 如 资金 、 技 术 和 人 力 等 
(核心 资源 ) 。 


7) 列 出 必须 要 交付 的 业务 功能 (关键 业务 活动 〉。 


8) 找 出 重要 的 合作 伙伴 (关键 合作 伙伴 〉。 


9) 分 析 投 入 产 出 比 是 怎样 的 (成 本 结构 〉。 





如 图 5-5 所 示 为 一 个 在 线 教育 App 产 品 的 商业 画布 示例 。 从 测试 角度 
来 看 ， 应 该 重点 关注 客户 细 分 、 价 值 主张 、 客 户 关 系 、 关 键 业 务 活动 、 
渠道 5 项 内 容 。 





关键 合作 伙伴 关键 业务 活动 价值 主张 客户 关系 客户 细 分 


专栏 讲师 、 渠 道 推 广 | 管理 平台 、 维 护 平台 、 | 为 上 技术 从 业者 提供 | 提供 在 线 的 反馈 渠道 ， | IT 技术 从 业者 〈 开发 
商 、 支 付 服务 提供 商 不 断 开发 的 业务 模式 在 线 学 的 机 会 提供 免费 在 线 直播 活动 ,| 人员、 测试 人 员 、 
和 新 的 在 线 课 程 疲 地 域 时 ,| 提供 专家 与 客户 的 在 线 | 维和 人员 和 管理 人 员 等 
交流 


是 六 


) 








核心 资源 进行 学 习 渠道 

















在 线 教育 平台 、 知 识 手机 App、 端 Web 
产权 页 面 和 客户 

成 本 结构 收入 来 源 

平台 硬件 基础 全 平台 维护 和 管理 人 员 薪资 ， 讲 师 | 课程 收费 、 增 值 服 务 








酬劳 ， 销 售 推广 








图 5-5 ”在线 教育 App 商 业 画 布 示例 
5.2.3” 影 啊 地 图 


影响 地 图 (impact map) 是 《影响 地 图 : 对 软件 产品 和 项 目 产 生 重 
大 影响 》 (Impact Mapping: Making a Big Impact With Software Products 
and Projects) 这 本 书 提出 的 一 个 用 于 业务 分 析 的 可 视 化 工具 ， 它 
从 “why-who-how-what” 这 4 个 方面 ， 按 照 “ 目 标 一 角色 一 角色 的 影响 方式 
一 具体 方案 ”的 顺序 进行 讨论 ， 逐 步 提取 出 达成 业务 目标 的 解决 方案 。 





利用 这 个 工具 ， 研 发 团队 从 “为 什么 要 做 这 个 产品 或 者 功能 ?出 发 ， 
与 业务 负责 人 一 起 讨论 并 制定 一 个 产品 或 功能 要 实现 的 业务 目标 ， 然 后 
识别 出 哪些 角色 会 影响 这 个 目标 的 实现 ， 影 响 方式 是 什么 ， 每 种 方式 具 
体 要 做 什么 。 研 发 团队 可 以 从 中 识别 出 产品 需要 设计 哪些 功能 特性 ， 同 
时 帮助 实现 业务 目标 。 


里 仍然 以 在 线 教育 App 产 品 为 例 来 讲解 影响 地 图 的 使 用 。 假 设 产 
加 te 


推广 出 去 ， 并 获得 收益 。 


它 的 “why-who-how-what” 这 4 个 方面 内 容 如 下 。 


why: 包含 两 个 方面 的 内 容 。 第 一 ， 为 什么 需要 这 个 功能 ? 例如 “分 
销 功 能 是 为 了 实现 课程 推广 的 裂变 效应 ， 从 而 提高 销售 额 。 第 
二 ， 通 过 这 个 功能 可 以 实现 什么 样 的 业务 目标 ? 设 定 的 业务 目标 应 
该 是 明确 、 清 晰 、 可 衡量 的 ， 并 且 是 可 以 实现 的 ， 例 如 在 3 个 月 内 
谍 程 销售 额 通 过 分 销 功能 增加 20%。 








who: 哪些 角色 会 影响 目标 的 达成 ? 这些 角色 既 可 以 帮助 我 们 实现 
业务 目标 ， 又 可 能 阻碍 目标 的 实现 。 在 此 案例 中 ， 识 别 出 影响 目标 
的 角色 ， 包 括 App 用 户 、 市 场 推广 人 员 、 课 程 审 核 人 员 和 课程 讲师 


有 
等 。 








how: 需要 用 什么 样 的 方式 影响 上 述 角 色 的 行为 来 达成 目标 ， 既 包 
含 产 生 促 进 目标 达成 的 正面 行为 ， 义 包含 消除 阻碍 目标 达成 的 负面 
行为 。 


what: 对 于 每 一 种 影响 方式 ， 需 要 采取 哪些 具体 方案 。 


如 图 5-6 所 示 就 是 为 这 个 分 销 功 能 制作 的 影响 地 图 。 








从 这 个 例子 的 具体 方案 中 ， 是 不 是 可 以 识别 出 不 少 需要 研发 团队 实 


现 的 功能 特性 ? 比如 推广 海报 的 制作 、 收 益 碍 看 、 提 现 和 微 信 链接 等 。 
如 打分 析出 来 的 功能 特性 比较 多 ， 那 么 团队 需要 对 它们 进行 优先 级 排 


序 ， 


按照 功能 特性 对 业务 目标 的 影响 大 小 来 决定 哪些 功能 必须 要 有 、 哪 


些 功能 无 关 紧 要 ， 以 及 哪些 功能 要 先 做 、 哪 些 可 以 后 做 等 。 


通过 影响 地 图 ， 研 发 团队 可 以 清晰 地 知道 产品 或 功能 如 何 帮助 企业 
实现 业务 目标 ， 这 样 就 会 对 目 己 做 的 产品 更 有 信心 ， 工 作 也 会 更 有 动 
2 










































































为 什么 (why ) 谁 可 以 影响 ( who ) ”影响 的 方式 ( how ) 具体 方案 ( what ) 
二 给 课程 留言 ， 参 与 讨论 ， 影 响 其 他 人 
购买 课程 对 课程 的 印象 
App 用 户 建立 用 户 专属 的 推广 列表 
i 小 :生成 推广 海报 
参与 课程 的 推 /分 销 。 | 分 享 微 信 朋 友 图 及 微 信 朋 友 
收益 查看 及 提现 
推广 课程 的 分 销 功能 ， ”购买 及 优化 推广 渠道 
影响 更 多 人 参与 
市 场 推广 人 员 
L 增加 课程 的 曝光 量 购买 及 优化 推广 渠道 
| 课程 更 新 速度 建立 内 容 审核 流程 
课程 审核 人 员 
es 建立 质量 标准 
L 课程 质量 提供 工具 
提供 培训 协助 
「 课程 质量 提供 工具 及 培训 、 协 助 
课程 讲师 
L 课程 更 新 速度 提供 工具 及 培训 、 协 助 
广 处 理 反 馈 的 满意 度 建立 常见 问题 列表 及 解决 方法 
|_ 售后 服务 
L 处 理 反馈 及 时 性 培训 辅导 


图 5-6 分 销 功 能 的 影响 地 图 示例 


5.2.4 用户 故 事 地 图 


使 用 商业 画布 和 影响 地 图 可 以 帮助 团队 明确 产品 的 价值 、 目 标 、 用 
户 、 主 要 功能 特性 等 ， 在 这 些 问 题解 决 之 后 ， 接 下 来 团队 就 可 以 动手 编 
写 用 户 故 事 。 一 般 情况 下 ， 首 先 编写 史诗 级 的 用 户 故 事 ，Epic， 然 后 将 
每 个 Epic 拆 分 成 若干 个 用 尸 故事 。 下 一 节 将 会 详细 介绍 如 何 进行 用 户 故 
事 的 拆 分 和 评审 。 这 些 不 同 的 用 户 故 事 组 成 要 实现 的 产品 得 办 事项 列 





表 。 但 这 样 形成 的 待 办 事项 列表 所 呈现 的 用 户 故 事 是 零散 的 ， 因 此 呈现 
的 产品 需求 也 是 零散 的 ， 缺 乏 系统 性 。 这 时 就 需要 引入 用 户 故 事 地 图 
Cuser story mapping) 一 一 一 种 生成 用 户 故事 的 团队 协作 沟通 的 新 方 
ys 


用 户 故 事 地 图 的 概念 来 自 杰 夫 : 巴 顿 创作 的 一 本 书 《 用 户 故 事 地 
图 》， 敏 捷 团 队 可 以 利用 用 户 故 事 地 图 协作 产生 用 户 故 事 ， 也 可 以 用 其 
进行 需求 分 析 管 理 。 每 一 个 用 户 故 事 地 图 体现 了 产品 完整 的 用 户 故 事 。 
用 户 故 事 地 图 为 敏捷 团队 解决 下 列 问题 : 








团队 协作 产生 用 户 故事 ; 


系统 化 地 呈现 软件 要 提供 的 全 部 功能 ; 


识别 出 要 交付 软件 的 最 小 化 可 行 产 品 (minimum viable product， 
MVP) ， 目 的 是 以 最 小 的 投入 快速 交付 对 用 户 最 有 价值 的 软件 ， 这 
一 点 对 于 敏捷 开发 尤其 重要 ， 它 可 以 很 好 地 服务 于 迭代 增 量 开发 ; 





呈现 不 同 粒度 的 用 户 故 事 之 间 的 关系 〈Epic 和 用 户 故 事 ) ; 


识别 用 户 故 事 的 优先 级 。 





用 户 故 事 地 图 需要 敏捷 团队 成 员 共 同 完 成 ， 可 以 采用 大 家 坐 在 一 起 
进行 “头脑 风暴 ?的 方式 。 这 里 还 是 以 在 线 教育 App 这 个 案例 来 设计 一 个 
用 户 故 事 地 图 ， 如 图 5-7 所 示 ， 它 从 购买 课程 的 用 户 角 色 出 发 ， 按 照 课 
程 购买 发 生 的 活动 顺序 从 天 到 右 排 列 。 最 上 面 一 行 是 Epic， 下 面 是 每 个 
Epic 拆 分 出 来 的 细 粒 度 的 用 户 故 事 ， 从 上 到 下 显示 了 用 尸 故 事 的 优先 














级 ， 按 照 轻 重 缓急 把 用 户 故 事 分 成 3 批 进 行 交 付 ， 最 有 价值 的 用 户 故 事 
放 在 第 1 批 ， 成 为 第 一 个 可 交付 软件 的 MVP， 次 要 的 放 在 第 2 批 ， 其 他 的 
放 在 第 3 批 。 


































































































Epic 

| 账户 管理 课程 搜索 课程 购买 | 课程 管理 课程 分 销 
用 户 故 事 

注册 /登录 综合 查询 | 余额 支付 课程 录音 内 容 

充值 课程 排序 | 微 信 支 付 课程 文字 内 容 

第 1 批 交付 支付 宝 支付 

订单 管理 礼券 | 课程 留言 | 生成 海报 

帮助 与 反馈 | ”课程 评分 微 信 链 接 
第 3 批 交付 | 字体 设置 | 











图 5-7 用 户 故 事 地 图 示例 


在 一 个 软件 产品 中 ， 不 同 用 户 角 色 对 应 不 同 的 用 户 故 事 地 图 。 例 
如 ， 对 于 在 线 教育 App， 还 可 以 给 “课程 讲师 ”这 个 角色 制作 一 个 用 户 故 
事 地 图 。 


5.3 ”从 Epic 到 用 户 故 事 完成 需求 评审 


传统 的 需求 评审 是 通过 评审 会 ， 产 品 、 开 发 、 测 试 等 人 员 坐 在 一 起 
来 完成 市 场 需 求 文档 (market requirements document，MRD ) 或 产品 需 
求 文档 〈product requirements document，PRD) 的 评审 ， 以 发 现 文档 中 
需求 缺失 、 无 意义 的 需求 、 模 校 两 可 的 描述 等 问题 。 一 般 在 评审 前 ， 需 
要 明确 评审 标准 ， 使 评审 有 据 可 依 。 敏 捷 开 发 中 的 需求 评审 伴随 着 需求 
分 机、 沟通 和 澄清 随时 进行 。 在 一 定 程度 上 ， 无 论 是 传统 的 需求 评审 ， 











还 是 敏捷 需求 评审 ， 有 些 标准 是 通用 的 ， 具 有 普 适 性 ， 例 如 ， 和 需求 的 可 
汕 试 性 就 是 通用 且 必 要 的 。 我 们 先 来 看 看 通用 的 评审 标准 有 哪些 。 





5.3.1 通用 的 评审 标准 


除 可 测试 性 以 外 ， 需 求 评审 标准 还 包含 可 行 性 (能 够 实现 ) 、 易 修 
改 性 《文档 容易 维护 ) 、 正 确 性 、 易 理解 性 和 一 致 性 等 。 有 些 要 求 ， 比 
如 正确 性 、 易 理解 性 ， 看 似 简单 ， 要 做 到 也 是 不 容易 的 ， 我 们 针对 其 中 
一 个 可 以 提出 一 系列 的 问题 ， 想 一 想 我 们 平时 的 需求 文档 是 否 都 能 给 出 
明确 、 正 确 的 回答 ， 私 怕 很 难 吧 1! 


正确 性 问题 如 下 。 


。 需 求 定义 是 否 符合 软件 标准 、 规 范 的 要 求 ? 








是 人 否 所 有 的 功能 都 有 明确 的 目的 ? 





是 否 存在 对 用 户 无 意义 的 功能 ? 


采用 的 算法 和 规则 是 否 科 学 、 成 熟 和 可 徘 ? 


哪些 证 据说 明 用 户 提 供 的 规则 是 正确 的 ? 


一 致 性 问题 如 下 。 





。 所 定义 的 需求 内 容 前 后 是 人 否 存 在 冲突 和 入 盾 ? 


。 是 否 使 用 了 标准 术语 和 统一 形式 ? 


。 使 用 的 术语 是 否 是 唯一 的 ? 





。 所 规定 的 操作 模式 、 算 法 和 数据 格式 等 是 否 相 互 兼容 ? 


除 正 确 性 、 易 理解 性 、 一 致 性 、 可 测试 性 、 可 行 性 和 易 修 改 性 以 
外 ， 还 需要 考虑 需求 的 完备 性 和 可 退 溯 性 ， 这 两 点 更 具 挑 战 性 ， 要 做 到 
完备 儿 乎 是 不 可 能 的 ， 在 敏捷 中 也 不 追求 功能 特性 的 完备 性 ， 而 是 移交 
付 高 价值 的 特性 ， 再 交付 中 等 价值 、 低 价值 的 特性 。 但 是 ， 用 户 故 事 的 
验收 标准 需要 考虑 其 完备 性 ， 尺 量 考 虑 或 挖掘 出 各 种 输入 /输出 、 条 件 
限制 、 应 用 场景 或 操作 模式 ， 不 但 包括 正常 的 输入 /输出 、 应 用 场景 和 
操作 模式 ， 而 且 包 括 非 法 的 输入 /输出 、 异 常 的 应 用 场景 和 操作 模式 
等 。 针 对 数据 项 ， 甚 至 需要 考虑 其 来 源 、 类 型 、 值 域 、 精 度 、 单 位 和 格 


式 等 。 











需求 的 可 追溯 性 主要 是 指 每 一 项 需求 定义 是 否 可 以 确定 其 来 源 ， 其 
问题 如 下 。 


。 来 目 哪 项 具体 的 业务 ? 


。 由 哪个 用 户 提 出 来 ? 





。 是 人 否 可 以 根据 上 下 文 找到 所 需要 的 依据 或 文 持 数据 ? 


。 后 续 的 功能 变更 是 否 能 找到 其 最 初 定 义 的 功能 ? 





。 功能 的 限制 条 件 是 否 可 以 找到 其 存在 的 理由 ? 


5.3.2 ”Epic 的 评审 


对 于 敏捷 项 目 ， 需 求 如 何 评审 呢 ? 一 般 敏 捷 的 用 户 故 事 也 是 由 特性 
拆 解 出 来 的 ， 一 个 特性 可 以 拆 出 很 多 个 用 户 故 事 。 从 基体 评 审 来 看 ， 束 
征 要 评审 特性 的 描述 和 用 户 故 事 的 描述 ， 但 在 敏捷 中 ， 可 能 没有 有 具体 的 
特性 描述 ， 或 者 说 ， 特 性 的 评审 属于 传统 的 范围 ， 可 以 按照 上 面 讨论 的 
通用 标准 来 进行 评审 。 而 在 敏捷 中 ， 面 对 的 两 个 具体 评审 对 象 是 用 户 故 
事 和 Epic。 我 们 可 以 先 从 宏观 〈Epic) 开始， 再 到 微观 (具体 到 每 一 个 
用 户 故 事 ) 。 








Epic 在 敏捷 中 的 应 用 还 是 比较 普 壳 的 ， 但 不 同 的 人 对 Epic 理 解 是 不 
一 样 的 ， 容 易 引 起 一 些 争 议 。Epic 最 早 由 迈克 :科恩 在 《用 户 故 事 与 敏 捷 
方法 》 一 书 中 提出 ， 即 “ 当 一 个 用 户 故 事 太 大 ， 有 时 候 就 称 之 为 史 
诗 ”(When a story is too large, it is sometimes referred to as an epic) 。 这 
里 ，Epic 是 史诗 般 的 大 用 户 故 事 ， 也 符合 Epic 这 个 词 的 本 意 。 例 如 ， 提 
到 一 部 “动作 冒险 ”电影 ， 自 然 少 不 了 一 场 汽车 妃 逐 、 一 场 格斗 或 一 场 枪 
战 等 ， 上 文 提 到 的 在 线 教育 App 的 案例 ， 目 然 也 会 有 发 现 谍 程 、 购 买 谋 
程 、 分 销 课程 等 这 样 的 大 故事 。 











但 也 有 公司 〈 如 Atlassian 公 司 ) 认为 Epic 是 一 种 与 用 户 故 事 有 区 别 
但 包含 用 户 故 事 的 积压 项 目 : Epic 是 大 块头 的 工作 项 ， 它 可 以 分 解 为 许 
多 较 小 的 用 户 故事 (An epic is a large body of work that can be broken 
down into a number of smaller stories) ， 可 以 被 视 为 图 5-7 的 一 列 ， 如 “ 账 





户 管理 * 中 的 一 组 用 户 故 事 。 


忆 而 言 之 ， 把 Epic 看 成 更 大 的 故事 ， 这 没 错 ， 可 以 用 如 图 5-8 所 示 来 
区 分 特性 、Epic、 用 户 故 事 和 任务 (task〉 之 间 的 关系 。 


月 特性 
周 Epic 
目 用 户 故 事 
1 + + + 
加 mm 辐 mm 四 mm 辐 mm 
小 时 ”回填 Se 外 二 加 任务 
辐 mm 辐 mm 辐 mm 辐 mm 


图 5-8 特性 、Epic、 用 户 故 事 和 任务 之 间 的 关系 








下 面 就 来 讨论 Epic 的 评审 ， 还 是 以 在 线 教育 App 为 例 ， 从 购买 诬 程 
的 用 户 角 色 出 发 ， 按 照 课程 购买 发 生 的 活动 顺序 从 左 到 右 排列 ， 从 账户 
管理 开始 ， 到 课程 搜索 、 课 程 购买 、 课 程 管理 ， 最 后 以 课程 分 销 结束 。 
评审 时 ， 我 们 会 提出 下 列 这 些 问题 。 


。 这 个 过 程 合理 吗 ? 符合 时 间 顺 序 吗 ? 
。 Epic 名 称 是 否 合 理 ? 
。 Epic 每 个 特性 下 面 的 用 户 故 事 〈 列 ) 设置 合理 吗 ? 


。 优先 级 设置 是 否 合理 ? 





例如 ， 在 图 5-7 中 ， 从 购买 课程 的 用 户 角色 来 看 ， 检 查 一 下 是 否 能 


发 现下 列 这 些 问 题 。 








“账户 管理 ?是 不 是 可 以 往 后 排列 ? 


。“ 诛 程 搜索 ”后 是 人 否 要 增加 “ 读 程 试 读 ? 内 容 ?“ 读 程 搜索 ”更 换 为 “ 读 程 
发 现 ? 是 不 是 更 贴近 用 户 习惯 ? 





。“ 综 合 查 询 ” 在 表达 上 比较 模糊 ， 也 没 必要 ， 改 为 “关键 词 查询 ”是 否 
更 明确 呢 ? 





“ 诬 程 管理 ” 改 成 “ 诬 程 学 习 ” 是 否 更 为 合理 ? 





“收益 管理 ?是 不 是 可 以 拆 成 “收益 提现 ?和 “收益 详情 ””? 





“ 拼 团购 买 ” 目 前 比较 流行 ， 也 能 吸引 更 多 新 用 户 参 与 ， 是 否 可 以 添 
加 进来 呢 ? 





。 为 吸引 更 多 用 户 参与 ， 在 “课程 分 享 ” 中 是 否 增加 一 个 “影响 力 榜 ”? 














课程 学 习 后 是 不 是 要 做 学 习 笔 记 ? 发 现 某 一 课程 讲 得 很 好 ， 是 否 要 
收藏 ? 


ee 


经 过 评审 之 后 ， 解 决 评审 中 所 提出 的 问题 ， 就 形成 了 新 的 、 更 合理 
的 用 户 故事 地 图 ， 如 图 5-9 所 示 。 





Epic 


账户 管理 | 课程 学 习 课程 分 享 











用 户 故 事 
[注册 语录 ] 


于 了 剖 
第 1 批 交 付 





i 








第 2 批 交 付 
Six 





图 5-9 评审 通过 的 用 户 故 事 地 图 示例 


5.3.3 用户 故 事 的 评审 








完成 Epic 的 评审 ， 就 可 以 进入 用 户 故 事 的 评审 。 用 户 故 事 的 评审 相 
对 具体 、 有 标准 ， 和 用 的 标准 束 是 INVEST 标 准 ， 如 下 所 示 。 


independent 〈 独 立 的 ) ; 

negotiable《〈 可 协商 的 ) ; 

valuable (有 价值 的 〉; 

estimable (可 估算 的 〉; 

sized Appropriately or Small (大 小 合适 的 ) ; 


testable〈 可 测试 的 ) 。 


这 个 INVEST 标 准 清单 最 早起 源 于 Bi Wake 在 2003 年 写 的 文 
章 “INVEST in Good Stories, and SMART Tasks”， 该 文章 也 将 特定 的 、 可 
衡量 的 、 可 实现 的 、 相 关 的 、 限 时 的 英文 首 字 母 ， 重 新 用 于 用 户 故 事 的 
技术 分 解 所 产生 的 任务 。 他 还 在 2012 年 号 了 以 下 6 篇 系列 文章 : 





1) 《INVEST 模 型 中 独立 的 故事 》 (“Independent Stories in the 
INVEST Model”) ; 


2) 《INVEST 模 型 中 可 协商 的 故事 》 (“N”) ; 
3) 《INVEST 模 型 中 有 价值 的 故事 》 〈“V”) ; 
4) 《INVEST 模 型 中 可 估算 的 故事 》 (“E”) ; 
5) 《INVEST 模 型 中 大 小 合适 的 故事 》 (“S”) ，; 
6) 《INVEST 模 型 中 可 测试 的 故事 》 (“T”) 。 


其 中 以 第 一 篇 文章 为 例 ， 他 举 了 一 个 极端 的 例子 ， 想 象 一 组 功能 ， 
具有 6 个 能 力 {A, B, C,D, E, F}。 


如 琳 我 们 也 写 了 6 个 用 户 故 事 ， 分 别 履 兰 了 其 中 一 些 功 能 ， 如 下 所 


1) {A, B}; 


2) {A, B,F}; 


3) {B, C, D}:; 


4) {B, C, F}:; 


5) {B, E}; 


6) {E,F}。 


这 种 重 登 〈 耘 合 ) 是 不 是 让 用 户 故 事 之 间 都 相互 依赖 不 能 独立 开发 
完成 ? 因此， 一定 要 让 每 个 用 户 故 事 相 对 独立 ， 这 样 不 但 有 利于 实现 ， 
而 且 有 利于 理解 和 沟通 。 





当初 是 为 了 整合 成 一 个 容易 记 住 的 缩写 词 ， 因 此 INVEST 由 每 个 单 
词 的 首 字 母 组 成 ， 但 字母 的 先后 顺序 并 不 代表 优先 级 。 从 评审 的 过 程 来 
看 ， 先 看 这 个 用 户 故 事 有 没有 价值 ， 这 种 价值 是 指 对 客户 /用 户 的 价 
值 ， 而 不 关心 对 开发 人 员 或 测试 人 员 有 没有 价值 ， 如 果 没 有 价值 ， 其 他 
的 “INEST” 就 不 用 看 了 。 因 此 ， 评 审 的 过 程 是 从 是 否 有 价值 开始 ， 再 检 




















查 其 独立 性 、 可 协商 性 、 可 测试 性 、 可 估算 性 等 ， 如 图 5-10 所 示 。 


V 
业务 价值 





UI Mockup 














图 5-10 ”用 户 故 事 评 审 过 程 示 意图 

















一 个 用 户 故 事 越 大 ， 其 估算 的 误差 就 越 大 ， 另 外 ， 可 测试 性 在 前 面 
己 经 介绍 过 ， 因 此 可 估算 、 可 测试 性 等 比较 容易 理解 ， 这 里 不 再 一 一 说 
明 。 


不 容易 理解 的 是 “可 协商 的 ”， 因 为 我 们 之 前 说 过 ， 需 求 越 明确 越 
好 ， 不 希望 出 现 “ 快 * 大 概 *“ 可 能 “几乎 * 等 这 样 的 词 ， 越 模糊 就 越 不 可 
测 。 可 协商 的 是 否 意 味 着 不 明确 呢 ? 其 实 不 是 ， 只 是 说 用 户 故 事 不 是 功 
能 的 约定 ， 将 来 是 可 以 调整 的 ， 即 用 户 故 事 的 细节 在 未 来 开 友 过 程 中 可 
以 由 客户 和 开发 人 员 去 协商 ， 包 括 测试 思路 。 但 可 协商 的 要 求 和 可 测试 
的 要 求 是 矛盾 的 ， 而 且 和 我 们 之 前 说 的 ATDD 也 是 有 冲突 的 。 如 果 在 设 
计 、 编 程 之 前 就 把 用 户 故 事 的 验收 标准 等 明确 下 来 ， 那 么 在 未 来 开发 过 
程 中 协商 的 空间 就 很 小 了 。 











用 户 故 事 越 明 确 ， 越 有 利于 可 测试 性 和 可 估算 性 。 规 模 小 ， 有 时 具 
有 迷惑 性 或 欺骗 性 ， 太 小 也 不 一 定 是 好 事情 。 迈 元: 科恩 和 肯特 : 贝 元 合 
车 的 《用 户 故事 与 敏捷 方法 》 中 提 到 了 故事 太 小 是 第 一 个 不 恨 征 光 ， 还 
举 了 一 个 例子 ， 即 下 面 的 两 个 用 户 故 事 就 应 该 合并 为 一 个 用 户 故 事 。 








搜索 结果 可 以 保存 为 XML 文件 。 


搜索 结果 可 以 保存 为 HTML 文 件 。 


用 户 故 事 的 大 小 可 以 控制 在 几 个 人 天 的 工作 量 ， 比 尔 : 韦 克 认为 故 


事 通 第 最 多 只 能 代表 几 个 人 周 的 工作 量 。 在 系统 规模 不 大 的 情况 下 ， 用 
户 故 事 的 工作 量 是 几 个 人 天 ; 如 果 是 大 规模 系统 ， 用 户 故 事 的 工作 量 可 
以 达到 几 个 人 周 。 











用 户 故 事 需 要 满足 3C 原 则 : card (卡片 ) 、conversation (会 话 ) 和 


confirmation 〈 确 认 ) 。 








卡片 : 一 张 卡 片 书 写 一 个 用 户 故 事 ， 卡 片 的 空间 很 有 限 ， 可 以 促进 
用 户 故 事 简 洁 ， 捕 获 需 求 的 精髓 或 目的 。 





会 话 : 类 似 前 面 “可 协商 的 "， 强 调 需 求 的 细节 是 在 开发 团队 、 产 品 
负责 人 及 利益 相关 者 之 间 的 会 话 中 暴露 和 沟通 的 ， 用 户 故 事 仅 作为 


建立 这 个 会 话 的 一 个 承诺 。 





确认 : 用 户 故 事 还 要 包含 满足 条 件 形式 的 确认 信息 ， 这 些 束 是 之 前 
所 说 的 、 用 于 澄清 期 望 行为 的 验收 标准 。 





从 用 户 故 事 需 求 评审 来 看 ， 还 有 一 点 要 注意 ， 它 是 表达 客户 的 真实 
需求 还 是 表达 客户 给 出 的 解决 方案 。 我 们 需要 的 是 客户 的 真实 需求 ， 而 
古 解决 方 琳 ， 解 决 方案 倒是 我 们 开发 团队 所 要 做 的 事情 。 








| 


笔者 经 营 会 举 一 个 简单 的 例子 ， 你 去 食堂 吃 饭 ， 你 的 同事 在 路 上 碰 
到 你 ， 并 对 你 说 ， 儿 我 买 几 个 馒 尖 回来 ， 我 就 不 去 食 笃 了 。“ 买 几 个 人 馒 
头 ” 是 用 户 的 需求 ， 还 是 用 户 基 于 某 个 需求 给 出 的 解决 方案 呢 ? 他 的 真 


实 需 求 可 能 会 是 哪些 呢 ? 





5.4 不 可 忽视 的 设计 评审 


与 需求 评审 不 同 ， 传 统 开发 模式 下 测试 人 员 很 少 参 加 设计 评审 ， 总 
觉得 设计 评审 和 测试 的 关系 不 大 ， 其 实 ， 这 样 的 认 知 是 错误 的 。 


书 





记得 在 一 次 会 议 的 演讲 之 后 ， 一 位 与 会 的 测试 人 员 提 问 : 如 何 进行 
可 靠 性 测试 ? 
如 果 是 你 的 话 ， 可 能 会 将 可 靠 性 计算 公式 告诉 他 ， 然 后 告诉 他 用 压 


力 测试 、 故 障 注入 的 方式 来 进行 可 徘 性 测试 ， 你 甚至 可 能 想到 现在 比较 
流行 的 混沌 工程 ， 但 这 些 并 不 是 非常 有 效 的 方法 。 





更 好 的 做 法 是 告诉 他 ， 首 先 要 加 强 设计 评审 。 在 评审 时 ， 询 问 系统 
架构 师 或 系统 设计 人 员 下 列 问 题 。 


。 他 们 是 如 何 来 保证 系统 可 靠 性 的 ? 


。 关键 组 件 有 元 余 设 计 吗 ? 


。 故障 转移 机 制 有 没有 ? 


。 如 果 有 故障 转移 机 制 ， 那 么 是 如 何 设计 的 ? 


。 可 以 在 线 上 进行 演练 吗 ? 


。 系统 一 旦 失效 ， 估 计 花 多 少时 间 恢 复 ? 


。 用 户 数 据 是 实时 备份 的 吗 ? 





。 用 户 数据 是 否 有 被 攻击 的 漏洞 ? 


。 线 上 数据 库 遭 受 破 坏 ， 数 据 能 恢复 吗 ? 





。 数据 恢复 需要 多 长 时 间 ? 


了 解 了 这 些 可 徘 性 相关 的 信息 后 ， 验 证 这 些 具体 措施 就 相对 容易 


也 就 是 说 ， 我 们 需要 先 通 过 设计 评审 ， 即 当 检 查 系 统 设计 时 是 否 
分 考虑 了 可 徘 性 的 需求 ， 在 设计 中 是 否 存 在 考虑 不 周 的 问题 ， 并 且 通 过 
设计 评审 ,清楚 如 何 去 验 证 系统 的 可 徘 性 ， 否 则 ， 使 用 压力 测试 的 方法 
进行 高 负载 测试 ， 无 论 是 从 时 间 上 还 是 从 要 付出 的 其 他 代价 上 来 看 ， 往 
往 很 难 让 人 接受 。 即 使 有 故障 注入 的 测试 方法 ， 也 雷 要 先 了 解 可 能 有 哪 
些 故障 触发 点 或 故障 模式 ， 才 能 把 有 效 的 故障 数据 注入 进去 。 











更 糟糕 的 是 ， 如 果 没 有 设计 评审 ， 或 在 设计 评审 时 ， 没 有 从 测试 的 
角度 去 提问 ， 可 靠 性 、 性 能 、 安 全 性 等 问题 就 很 难 在 系统 设计 时 被 发 
现 。 等 到 后 期 系统 测试 时 再 发 现 ， 往 往 为 时 已 晚 ， 团 队 将 付出 很 大 的 代 
价 ， 需 要 修改 设计 和 代码 ， 再 重新 测试 。 这 就 体现 了 设计 评审 的 价值 和 
重要 性 ， 


5.4.1 设计 评审 的 价值 和 重要 性 





通过 设计 评审 ， 可 以 给 我 们 带 来 下 列 3 点 收益 。 


1) 更 好 地 确保 软件 设计 的 可 测试 性 ， 包 括 系统 的 功能 、 性 能 、 安 
全 性 和 可 靠 性 等 。 


2) 更 重要 的 是 能 够 提前 发 现 设计 上 的 缺陷 ， 避 免 直到 系统 测试 时 
才 必 现 问题 ， 大 大 降低 了 系统 的 质量 风险 、 项 目 管理 风险 和 软件 研发 成 
本 。 


3) 更 好 地 了 解 系统 是 如 何 实现 的 ， 以 及 由 哪些 组 件 、 服 务 构 成 ， 
更 深入 地 了 解 系统 染 构 、 关 键 组 件 和 关键 接口 等 ， 有 助 于 实现 分 层 测 
试 、 面 向 接 口 的 测试 ， 从 而 提高 测试 方案 、 测 试 设计 的 有 效 性 和 效率 。 


在 敏捷 开发 模式 下 ， 我 们 更 强调 测试 左 移 和 持续 测试 ， 这 就 少不了 
设计 评审 。 从 设计 评审 的 角度 来 看 ， 无 论 是 传统 开 及 ， 还 是 敏捷 开发 ， 
都 有 一 些 基本 的 评审 标准 ， 比 如 设计 的 规范 性 、 开 放 性 、 可 测试 性 、 可 
扩展 性 和 一 致 性 等 ， 设 计 应 力求 简单 、 合 理 、 清 晰 ， 做 到 高 内 育 、 低 厢 
合 。 同 时 ， 最 终 设计 必须 能 满足 需求 ， 所 有 功能 特性 都 有 相应 的 组 件 去 
承载 ， 并 且 和 它们 之 间 的 映射 是 合理 的 。 


下 面 就 来 说 说 如 何 高 效 地 完成 敏捷 开发 模式 下 的 设计 评审 。 
5.4.2 ”如 何 完 成 架构 评审 


在 敏捷 开 怪 模 式 下 ， 即 使 文档 再 少 ， 首 和 完 ， 系 统 染 构图 不 能 和 省略， 
其 次 ， 接 口 定 义 文档 也 不 能 省 略 。 因 此 ， 在 敏捷 开发 中 ， 设 计 评 审 重 点 
应 放 在 架构 评审 和 接口 定义 文档 的 评审 上 。 





首先 ， 我 们 展开 系统 《逻辑 ) 架构 设计 图 ， 如 图 5-11 所 示 。 针 对 这 
个 架构 图 ， 先 整体 评审 ， 再 对 每 层 进行 评 审 ， 从 UI 层 开始 ， 深 入 API 
层 、 安 全 (security) 层 、 核 心 (core) 层 、 存 储 (storage) 层 、 工 作 流 
引擎 (workflow engine) 、 搜 索引 擎 (search engine) 、 目 录 和 元 数据 
引擎 (catalog & metadata engine) ， 以 及 状态 与 报告 (status & 
reporting) 等 组 件 。 











在 系统 架构 设计 评审 时 ， 如 上 文 开始 所 说 的 ， 可 以 就 性 能 、 可 靠 
A A & 构 设计 是 否 合理 、 是 否 有 缓存 
机 制 、 是 否 有 元 余 设计 、 是 否 存在 单 点 失效 等 问题 ; 在 整体 上 ， 则 需要 
了 解 选 型 是 否 合理 、 ws & 构 、 是 否 更 应 该 选用 微服 务 架 构 等 
问题 。 如 果 有 具体 到 非 功能 特性 ， 那 么 有 以 下 这 些 原 则 或 规律 可 循 。 
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图 5-11 某 软件 系统 人 逻辑 架构 示意 








1) 性 能 。 一 般 在 设计 上 会 考虑 分 层 架 构 ， 分 布 式 架构 ，【〈 文 件 ) 


系统 缓存 机 制 ， 轮 询 式 任务 分 配 ， 数 据 服 务 器 和 应 用 服务 器 分 离 ， 数 据 
分 片 和 数据 读 写 分 离 ， 以 及 CDN 等 措施 。 例 如 ， 现 在 普 过 采用 的 内 容 分 
发 网 络 (content delivery network，CDN) 技术 ， 能 够 将 站 点 内 容 发 布 至 
裔 布 各 地 的 海量 加 速 节 点 ， 使 其 用 户 可 就 近 获 取 所 需 内 容 ， 避 免 网 络 拥 
堵 、 地 域 、 运 营 商 等 因素 带 来 的 访问 延迟 问题 ， 有 效 提升 访问 速度 、 降 
低 啊 应 时 间 ， 获 得 流畅 的 用 户 体 验 。 























2) 安全 性 。 数 据 和 系统 的 分 离 ， 将 系统 权限 和 数据 权限 分 别 设 
置 ， 以 及 基于 角色 的 访问 控制 设计 等 都 可 以 提高 系统 的 安全 性 。 如 图 5- 
11 所 示 ， 设 计 中 间 层 可 以 隔离 客户 对 所 存储 数据 的 直接 访问 ， 进 一 步 保 
护 数据 库 的 安全 。 








3) 可 徘 性 。 采 用 多 市 把 分 布 式 体 系 架 构 ， 这 样 单个 节点 失效 不 会 
造成 整个 系统 失效 ， 从 而 确保 系统 的 可 靠 性 。 而 且 ， 负 载 也 能 均衡 地 分 
布 在 不 同 节 点 上 ， 不 会 像 单 体系 统 受到 集中 式 负载 压力 冲击 而 引起 类 
似 “拒绝 服务 ”〈DoS) 的 问题 ， 以 保证 服务 的 可 用 性 。 


4) 可 扩展 性 。 区 分 可 变 和 不 可 变 业 务 ， 采 用 多 层 分 布 体系 架构 ， 
基于 不 同 的 组 件 或 层次 为 不 同 的 业务 提供 开放 的 服务 接口 〈API、 
SDK) ， 并 尽 可 能 简化 以 构 ， 降 低 模块 间 的 耦合 性 等 。 


5.4.3 有 层次 的 〈 组 件 ) 评审 


在 整体 评审 通过 后 ， 我 们 会 继续 就 系统 的 各 个 层次 或 各 个 组 件 进行 
更 为 细致 的 评审 ， 逐 层 往 前 推进 。 


1) UI 层 。 检 查 是 否 采 用 了 类 似 GWT 谷歌 Web 工 具 包 ) 的 Web 2.0 
用 户 界面 框架 ， 从 而 能 够 支持 Firefox、IE、Safari、Google Chrome 等 浏 
览 器 的 最 新 版 本 ， 以 及 是 否 适 用 基于 JQuery Mobile 的 移动 设备 、 
WebDAV 和 CIFS 协 议 等 。 








2) API 层 。 检 查 是 否 支 持 OASIS 开 放 标 准 的 CMIS (content 
management interoperability services) 协议 ， 即 是 否 允 许 使 用 Web 协 议 互 
连 ， 并 控制 各 种 文档 管理 系统 和 存储 库 ; 检查 是 否 文 持 OpenAPI 标 准 ， 
能 否 通过 Web 服 务 〈SOAP) 和 REST 提 供 完整 的 、 开 放 的 API， 从 而 实 
现 与 第 3 方 应 用 程序 的 集成 ;检查 是 否 提供 了 用 于 Java、.NET 和 PHP 等 
二 次 开发 的 SDK。 





3) 安全 层 。 涉 及 用 户 和 喘 份 的 验证 ， 以 及 注册 用 户 和 未 注册 用 户 访 
问 权限 的 管理 、 安 全 控制 等 。 如 图 5-11 所 示 ， 该 架构 采用 和 
Security 实 现 基 于 用 户 的 a 理 用 户 的 访问 权限 、 通 过 Access 
Manager 模 块 实现 安全 控制 、 通 过 CAS (authentication centralized 
service) 服务 实现 身份 验证 等 。 


4) 存储 模块 。 检 查 是 否 足够 安全 、 可 靠 和 开放 。 图 5-11 所 示 的 系 
统 架 构 使 用 了 Hibernate 进 行 对 象 关 系 映 射 (Object Relation Mapping， 
OMR) ， 并 能 文 持 不 同 的 关系 数据 库 ， 而 整个 元 数据 层 则 存储 在 数据 
库 (database) 中 。 





5) 其 他 组 件 。 例 如 ， 检 碍 搜索 引擎 、 ee 
百合 理 。 如 果 选 择 第 3 方 开源 产品 ， 那 么 需要 了 解 它 是 否 是 成 熟 的 组 


件 、 属 于 哪 一 类 开源 许可 协议 ， 以 及 有 没有 法 律 风 险 等 。 
5.4.4 接口 定义 的 评审 


架构 评审 完 之 后 ， 束 需要 深入 各 个 组 件 详 细 设 计 的 评审 。 而 在 这 之 
前 ， 需 要 针对 接口 详细 设计 文档 进行 评审 ， 这 也 是 值得 我 们 特别 关注 
的 。 因 为 接口 关系 到 每 个 开发 人 员 能 售 相 对 独立 、 高 效 地 进行 工作 ， 还 
关系 到 之 后 众多 组 件 能 人 否 集成 为 可 正常 运行 的 系统 。 





接口 分 为 多 种 ， 如 资源 接口 、 操 作 接 口 和 页 面 接口 。 前 面 两 种 接口 
相对 简单 ， 要 求 按照 RESTfu] 方 式 定 义 即 可 ， 而 对 于 页 面 ， 可 能 涉及 太 
多 接口 ， 不 能 一 个 个 进行 调用 ， 这 样 会 导致 系统 性 能 比较 差 ， 严 重 影响 
用 户 体验 。 因 此 ， 我 们 需要 在 后 台 把 数据 处 理 好 ， 然 后 形成 一 个 聚合 型 
接口 提供 给 前 端 来 使 用 。 





从 接口 定义 来 看 ， 要 求 遵 循 RESTful 风 格 、 采 用 UTF-8 统 一 接口 编 
码 方 式 ， 接 口 应 具备 可 扩展 性 ， 接 口 拆 分 合理 、 粒 度 合适 ， 接 口 描述 清 
晰 、 一 致 ， 标 注 请 求 方式 并 能 区 分 GET、POST 等 不 同方 式 的 应 用 场 
景 ， 比 如 获取 数据 用 GET， 新 增 / 修 改 /发 送 数据 用 POST; 接口 地 址 
(URL) 使 用 相对 路 径 ， 从 而 尽量 减少 参数 传递 ， 参 数 命名 准确 并 符 
统一 的 命名 规则 ， 同 时 标注 参数 数据 类 型 、 值 域 范围 、 是 否 可 为 空 等 ; 
接口 必须 提供 明确 的 数据 状态 信息 、 统 一 的 标识 调用 状态 〈 无 论 是 成 功 
还 是 失败 ) 。 





全 
口 





从 接口 性 能 来 看 ， 数 据 格式 采用 JSON 格 式 比 XML 好 ， 这 是 因为 它 





的 数据 量 少 ， 而 且 尽 量 按 需 传递 数据 ， 前 问 需 要 什么 数据 束 返 回 什 么 数 
据 。 为 了 实现 更 好 的 性 能 ， 还 要 设置 缓存 机 制 ， 包 括 文件 缓存 、 


Memcache 等 。 








从 安全 性 来 看 ， 包 括 验证 签名 机 制 、 接 口 访问 授权 机 制 、 数 据 传输 
加 密 、 客 户 端 身份 验证 和 时 间 戳 验证 等 ， 同 时 选用 合适 且 安 全 的 算法 。 
对 于 核心 数据 的 ID 字段 ， 不 要 使 用 自 增 的 数字 类 型 ， 而 应 使 用 Hash 算 法 
产生 随机 的 字符 串 类 型 ， 避 免 核 心 数 据 被 轻易 抓 取 等 。 





5.4.5 ”设计 的 可 测试 性 


可 测试 性 不 仅 在 需求 阶段 非常 重要 ， 在 设计 环节 也 同样 重要 ， 读 者 
可 能 注意 到 人 们 经 常会 提 到 “可 测试 性 设计 ”(design for testability， 
DFT)〉 和 “设计 驱动 开发 ”(design-driven development，DDD) 。 通 过 设 
计 可 以 确保 系统 结构 的 简单 性 、 可 观察 性 和 可 控制 性 ， 如 MVC 设 计 模 
式 、 接 口 单一 性 、 各 个 模块 有 明确 的 接口 定义 等 。 在 设计 上 改善 软件 的 
可 测试 性 ， 主 要 是 通过 设立 观察 点 、 控 制 点 、 驱 动 装 置 和 隔离 装置 等 来 
实现 的 。 








1) 测试 驱动 设计 方法 ， 比 如 先 确定 验收 测试 用 例 ， 再 设计 具体 的 
功能 ， 先 确定 性 能 、 可 徘 性 等 测试 用 例 ， 再 考虑 如 何 实施 染 构 设计 ， 以 
满足 不 同 特性 的 要 求 。 


2) 选用 开放 、 先 进而 成 熟 的 设计 模式 和 框架 ， 在 一 定 程 度 上 能 保 
证 系统 结构 的 低 耘 合 性 、 单 一 的 依赖 关系 ， 具 有 较 高 的 可 测试 性 。 








3) 可 控制 性 设计 ， 包 括 业 务 流程 、 模 块 、 场 景 、 全 局 变量 、 接 口 
等 的 可 控制 性 设计 ， 即 在 外 部 提供 适当 的 方法 、 途 径 ， 直 接 或 间接 地 控 
制 相应 的 模块 、 全 局 变量 和 接口 等 。 这 些 途 径 可 能 包括 设立 XML 配置 
文件 、 暴 露 API、 统 一 接口 等 操作 。 











4) 数据 显示 与 控制 分 离 ， 通 过 分 层 ， 增 加 了 系统 的 可 观察 性 和 可 
控制 性 。 这 样 ， 就 可 以 通过 接口 调用 ， 分 别 完成 相应 的 业务 逻辑 、 数 据 
处 理 等 的 测试 。 





5) 遵守 设计 原则 《如 接口 隔离 原则 ) ， 并 针对 模块 ， 尽 量 分 解 到 
相对 稳定 、 规 模 合 适 的 程度 ， 以 确保 模块 的 独立 性 和 稳定 性 ， 有 利于 独 
立 开 展 对 模块 的 测试 活动 。 


6) 设计 易 理 解 性 ， 包 括 明确 的 设计 标准 、 规 范 的 设计 文档 、 明 确 
的 接口 及 其 参数 的 定义 ， 使 设计 有 据 可 依 ， 层 次 清晰 ， 设 计 文 档 易 读 。 


5.5 BDD 及 其 自动 化 实 忠 


前 面 已 经 介绍 了 TDD、UTDD 和 ATDD， 讨 论 了 需求 的 可 测试 性 ， 
通过 测试 在 前 的 敏捷 开发 理念 ， 比 如 先 建立 用 户 故 事 的 验收 标准 ， 来 提 
升 需求 的 质量 。 在 ATDD 的 基础 上 ， 再 进一步 ， 就 是 BDD 的 开发 模式 。 
5.5.1 什么 是 BDD 


行为 驱动 开发 (behavior-driven development，BDD) 是 由 丹 : 诺 思 


提出 的 ， 他 在 2003 年 开发 了 一 个 称 为 JBehave 的 工具 : 一 个 更 加 关注 代 
码 行为 的 测试 工具 ， 强 调用 自然 语言 编写 测试 脚本 ， 可 以 代替 JUnit。 后 
来 经 过 几 年 的 实践 ， 在 2006 年 ， 诺 思 与 元 里 斯 : 马 次 合作 提出 了 BDD， 

把 软件 行为 转化 为 Given-When-Then (GWT) 格式 进行 描述 ， 将 BDD 的 
范围 从 测试 扩展 到 业务 分 析 ，BDD 至 此 正式 诞生 。 











但 是 直到 2009 年 ， 话 思 才 给 出 了 关于 BDD 的 定义 ， 不 过 仍然 让 人 难 
以 理解 究竟 什么 是 BDD。 后 来 他 和 另外 两 位 合作 者 一 起 又 给 出 了 一 个 新 
的 定义 ， 如 下 所 示 。 





BDD 是 一 个 过 程 ， 旨 在 通过 改善 工程 师 和 业务 人 员 之 间 的 沟通 来 促 
进 开发 项 目的 交付 。BDD 确 保 所 有 的 开发 项 目 始终 关注 要 交付 产品 的 实 
际 业 务 需 要 ， 即 满足 用 户 的 所 有 需求 。 





一 一 康 斯 坦 丁 ' 库 德里 亚 绍 夫 、 阿 利 斯 泰 尔 ' 斯 特 德 和 丹 : 诡 思 








BDD 的 首要 目的 是 促进 团队 沟通 业务 需求 ， 关 注 真 正 对 用 户 有 价值 
的 需求 。BDD 强 调 团 队 成 员 《〈 业 务 分 析 人 员 、 开 及 人 员 和 调试 人 员 ) 之 
间 通 过 协作 定义 软件 的 行为 ， 即 用 户 与 软件 进行 区 互 的 方式 。 同 时 ， 
BDD 关 注 业 务 领 域 ， 提 倡 采 用 人 简单 且 结 构 化 的 通用 领域 语言 描述 需求 ， 
不 异 代 码 的 业务 人 员 也 可 以 看 懂 并 且 参 与 编写 ， 以 此 避免 不 同 领域 背景 
的 团队 成 员 之 间 在 理解 上 的 偶 关 。 


正 是 基于 以 上 两 点 ，BDD 从 业务 角度 可 以 帮助 研发 团队 快速 交付 有 
价值 的 产品 。 在 采用 BDD 的 敏捷 开发 中 ， 采 用 GWT 格 式 的 自然 语言 来 
描述 一 个 用 户 故 事 可 能 遇 到 的 应 用 场景 ， 并 以 此 作为 用 户 故 事 的 验收 标 
准 ， 如 下 所 示 。 


。 Given: 给 定 什么 上 下 文 /条 件 AND/OR 其 他 条 件 。 
。When: 当 什 么 事件 AND/OR 其 他 事件 被 触发 。 
。 Then: 产生 什么 结果 AND/OR 其 他 结果 。 


示例 如 下 。 


As a driver， 

I want the vehicle to determine the speed limit and set the speed to that 
limit 

So that I do not have to pay attention to speed limits 


Acceptance Criteria: 


Scenario 1: 


Given a speed limit 
When the car drives 
Then it is close to the speed limit but not above it 


Scenario 2: 

Given the car is moving 

When the speed limit changes 

Then the speed changes without excessive force 





5.5.2 ”BDD 和 测试 的 关系 


里 然 语 思 在 提出 BDD 概 念 的 时 候 认为 BDD 是 升级 版 的 TDD， 但 同 


时 他 也 在 命名 的 时 候 用 "behavior”( 行 为) 代替 了 TDD 中 的 “test”〈 测 
试 ) 。 后 来 ， 他 一 直 提醒 大 家 不 要 以 为 BDD 就 等 同 于 测试 或 自动 化 测 
试 ， 因 为 BDD 更 关注 系统 行为 和 业务 需求 的 沟通 。 那 么 ， 究 竟 如 何 理解 
BDD 和 测试 的 关系 呢 ? 


BDD 强 调 通 过 协作 和 沟通 保证 业务 需求 的 正确 性 ， 而 业务 需求 是 软 
件 测试 最 重要 的 上 下 文 之 一 ， 前 面 已 经 多 次 强调 过 这 一 点 。 因 此 ，BDD 
和 测试 天 系 紧密 ，BDD 为 软件 测试 提供 了 更 为 准确 、 可 徘 的 测试 需求 。 


BDD 使 用 业务 领域 的 自然 语言 来 描述 用 户 故 事 的 具体 场景 ， 让 验收 
标准 更 加 明确 ， 保 证 了 用 户 故 事 的 可 测试 性 。 因 此 ，BDD 可 以 看 作 
ATDD 的 实例 化 ， 即 BDD 是 通过 上 述 GWT 格 式 所 描述 的 具体 场景 来 建立 
ATDD 中 的 验收 标准 。BDD 和 ATDD 都 是 在 业务 层次 上 实践 TDD: 首先 
编写 验收 测试 用 例 ， 然 后 驱动 产品 的 设计 与 代码 ， 以 此 保证 软件 功能 特 
性 被 正确 实现 。 而 UTDD 是 在 代码 层次 上 ， 先 编写 单元 测试 脚本 ， 在 没 
有 开发 代码 的 情况 下 运行 测试 脚本 自然 会 失败 ， 再 开发 并 修改 代码 直到 
测试 能 够 通过 。 随 后 根据 需要 可 以 重 构 代 码 ， 直 到 新 的 代码 也 可 以 通过 
单元 测试 。 


图 5-12 展 示 了 BDD 和 UTDD 的 关系 和 工作 流程 。 首 先 在 业务 层面 为 
用 户 故 事 添 加 场景 化 的 验收 标准 ， 并 在 此 基础 上 生成 验收 测试 用 例 。 随 
后 ， 工 程 师 编 写 代 码 来 实现 这 个 用 户 故 事 。 但 先 需 要 开发 能 够 验证 所 实 
现 的 功能 的 单元 测试 脚本 ， 再 开发 代码 让 测试 通过 ， 需 要 时 通过 重 构 代 
码 改善 代码 质量 ， 重 构 后 的 代码 也 必须 通过 单元 测试 。 这 时 ， 我 们 就 可 
以 在 业务 层面 对 这 个 用 户 故 事 进行 验收 测试 了 。 如 果 需 求 有 了 变更 ， 那 








么 验收 标准 和 验收 测试 用 例 也 需要 更 新 ， 然 后 义 开始 上 述 循环 。 





图 5-12 BDD 与 UTDD 的 关系 





BDD 实 践 时 不 一 定 必 须 实现 完全 的 测试 自动 化 ， 但 规范 化 的 验收 标 
准 为 测试 自动 化 提供 了 良好 的 基础 。 或 者 说 ， 为 了 更 容易 、 更 准确 地 实 
现 目 动 化 测试 ，BDD 有 要 求 用 GWT 这 样 的 规范 格式 来 描述 用 户 场 景 。 目 
前 有 多 种 能 够 很 好 支持 BDD 的 自动 化 测试 工具 和 框 染 ， 可 以 编写 并 执行 
目 然 语言 风格 的 测试 用 例 ， 并 且 支 持 与 多 种 测试 执行 工具 的 集成 。 图 5- 
13 展 示 了 BDD 实 践 下 的 用 户 故 事 验 收 测试 过 程 : 








1) 业务 负责 人 【〔 产 品 经 理 ) 和 敏捷 团队 沟通 业务 目标 及 功能 特 
性 ; 


2) 业务 分 析 人 员 、 开 发 人 员 和 测试 人 员 协 作 编 写 用 户 故 事 ; 








3) 建立 用 户 场 景 ， 以 指导 研发 人 员 编 写 产 品 代码 及 目 动 化 测试 代 
码 ; 


4) 测试 人 员 手 工 执 行 不 能 自动 化 的 部 分 ; 


5) 提交 用 户 故 事 验 收 测 试 报告 ， 即 提供 质量 反馈 。 








3 ) 建立 用 户 场景 ， 以 指导 开发 人 员 
编写 产品 代码 及 自动 化 测试 代码 


























2 ) 业务 分 析 人 员 、 开 发 人 员 和 
测试 人 员 协 作 编 写 用 广 故 事 


4 









用 户 故事 里 的 
场景 描述 使 用 
结构 化 的 通用 


五 兰 
襄 互 
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1 ) 业务 负责 人 ( 产品 


经 理 ) 和 敏捷 团队 沟通 个 
业务 目标 及 功能 特性 


国 ] 自动 化 测试 代码 

















Lo 
4 ) 测试 人 员 手 工 执行 5 ) 提交 用 户 故事 验 | 














图 5-13 ”BDD 与 用 户 故 事 验 收 测试 


5.5.3” 现 有 的 BDD 自 动 化 测试 框架 


BDD 上 自动 化 测试 框架 的 共同 特点 是 可 以 编写 并 执行 目 然 语言 形式 的 


测试 用 例 ， 从 产品 的 用 户 价 值 和 业务 需求 出 发 ， 从 而 实现 BDD。 在 第 4 
章 中 ， 我 们 从 验收 测试 框架 的 角度 了 解 了 支持 BDD 的 自动 化 测试 框 染 
Karate 和 Ginkgo。 这 里 将 重点 介绍 倍 受 推 东 的 Cucumber， 然 后 看 看 其 他 
几 个 常用 的 BDD 自 动 化 测试 框架 ， 即 Robot Framework、Behave、 
Cauge。 


Cucumber 是 基于 Ruby 语 言 的 自动 化 测试 框架 ， 可 以 和 Ruby on 


Rails、Selenium、PicoContainer、Spring Framework 等 框 染 集成 ， 而 且 既 
支持 Web UI 的 自动 化 测试 ， 又 支持 API 的 自动 化 测试 。 


Cucumber 还 能 同时 进行 服务 器 和 手机 端的 功能 测试 。Calabash 是 一 


个 服务 于 移动 端 App 的 验收 测试 框架 ， 其 中 核心 是 Cucumber， 通 过 
Cucumber 将 Android 的 测试 框架 Robotium， 以 及 ioOS 的 测试 框架 Frank 封 
装 起 来 ， 使 得 Cucumber 的 Step 可 以 调用 Robotium 或 Frank 进 行 测试 。 


如 图 5-14 所 示 是 Calabash 的 工作 原理 图 ， 其 中 Features 相 当 于 前 面 所 
说 的 Cucumber 的 ,feature 文件 ，Ruby Client Library 提 供 API 支 持 并 与 
Instrumentation Test Server 或 Calabash HTTP Server 连 接 ， 即 实现 PC 端 与 
模拟 器 或 手机 真 机 进行 通信 ， 驱 动 被 测 应 用 执行 UI 自动 化 操作 。 


np a ne Pet md oe el hp pe i ee pe AL i 


! 开发 人 员工 作 计算 机 /构建 服务 器 | | 真 机 /模拟 机 


ss | 1 1 1 
Step Definitions， 1 ! Instrumentation 1 
Ruby Client Library 1 Test Server | 
1 1 | 
1 I 1 
! 1 ! Calabash-Android 
| 1 | 
1 1 1 
1 
1 
1 


1 1 
Features 1 | Your App | 
1 1 
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图 5-14 ”Calabash 工 作 原 理 图 








Cucumber 做 到 了 业务 规范 和 具体 的 测试 代码 分 离 ， 并 且 非 研发 人 员 
也 可 以 编写 业务 规范 。 不 仅 如 此 ，GWT 风 格 描述 的 用 户 场景 让 软件 系 
统 的 行为 更 清晰 ， 因 此 Cucumber 不 但 是 一 个 目 动 化 测试 框架 ， 而 且 是 一 





个 团队 进行 需求 沟通 和 协作 的 工具 。 但 是 单纯 地 从 自动 化 测试 的 角度 来 
看 ， 很 多 人 觉得 固定 语法 常 肖 让 人 感觉 写 起 来 费时 叉 费 力 。 





虽然 Cucumber 几 乎 是 BDD 的 代名词 ， 但 它 不 一 定 是 最 好 的 或 最 适 
合 你 的 ， 可 以 看 看 其 他 BDD 上 自动 化 测试 框架 是 不 是 更 适合 自己 。 下 面 就 
将 几 个 BDD 上 自动 化 测试 框架 各 目的 特点 做 一 个 比较 ， 如 表 5-1 所 示 ， 从 
而 帮助 你 做 出 更 明智 的 选择 。 





表 5-1 常用 的 BDD 自 动 化 测试 框架 的 特点 





BDD 自 动 
化 测试 框 


架 





基于 Ruby 开 发 的 测试 框架 ， 支 持 多 种 语言 的 测试 代码 ; 








提供 与 多 种 测试 框架 和 测试 工具 的 集成 ， 既 支持 UI 测试 ， 又 文 持 

API 测 试 ; 
Cucumber 支持 Gherkin 语 言 以 Given-When-Then 格 式 编写 测试 用 例 ， 支 持 中 

文 在 内 的 多 种 语言 ; 

测试 用 例 和 上 自动 化 测试 代码 分 离 ， 测 试用 例 通 过 Given、When、 

Then 等 关键 字 驱 动 测试 代码 












































。 基于 Python 开发 的 、 可 扩展 的 通用 框架 ， 支 持 关 键 字 驱动 、 数 据 
驱动 和 行为 驱动 ; 

。 通过 测试 库 识别 、 操 纵 被 测 对 象 ， 其 框架 周围 有 一 个 丰富 的 生态 

系统 ， 由 各 种 通用 测试 库 和 工具 组 成 ， 如 Selenium2Library、SSH 

Robot 库 和 Scrapy 等 ; 

提供 友好 的 测试 用 例 编写 环境 一 一 RIDE， 支 持 中 文 在 内 的 多 种 语 









































Framework 


。 拥有 丰富 的 关键 字库 ; 
。 测试 用例 和 上 自动 化 测试 代码 分 离 ， 测 试用 例 通过 Given、When、 
Then 等 关键 字 驱 动 测试 代码 


























有 多 种 Behave 框 架 ， 每 种 框架 支持 特定 的 语言 ， 如 文 持 Java 的 
JBehave， 文 持 Python 的 Behave; 
Given-When-Then 格 式 编写 测试 用 例 ; 









































测试 用 例 和 自动 化 测试 代码 分 离 ， 测 试用 例 通过 Given、When、 
Then 等 关键 字 驱 动 测试 代码 











支持 Go 语言 ， 支 持 并 行 测试 、 异 步 等 待 ; 

文 持 第 3 方 测试 库 ， 如 GoMock、Testify 和 Agouti 等 ; 

目 定 义 的 DSL 语 法 〈Describe/ContextIt) 可 以 方便 地 编写 测试 月 
例 ; 

在 同一 个 文件 里 描述 用 户 场 景 和 编写 测试 代码 






















































































支持 多 种 语言 ; 

Markdown 语 言 编 写 测试 用 例 ， 在 编写 格式 上 更 加 自由 ; 
测试 用 例 和 自动 化 测试 代码 分 离 ， 通 过 测试 用 例 中 书写 的 关键 字 
驱动 测试 代码 





















































基于 Cucumber-JVM 构 建 的 开源 测试 工具 ， 因 此 具备 Cucumber 的 很 
多 特点 ; 

最 大 的 优点 是 不 需要 额外 编写 Java、Python 等 编程 语言 的 自动 化 测 
试 代 码 ; 

支持 多 线程 并 发 测试 






































5.5.4 ”BDD 实 例 


让 我 们 一 起 看 看 如 何 通 过 Cucumber 开 发 BDD 需 求 规范 以 及 自动 化 
测试 脚本 。Cucumber 的 自动 化 脚本 分 为 两 部 分 。 





。 一 部 分 是 .feature 文 本 文件 ， 用 Gherkin 语 言 描 述 用 户 场 景 ， 并 且 采 
用 GWT 格 式 编 写 ， 支 持 包括 中 文 在 内 的 多 种 语言 。 一 个 Feature 用 


来 摘 述 一 个 特性 、 功 能 点 或 用 户 故 事 。Scenario 是 其 中 定义 的 用 户 
场景 ， 说 明 业 务 规则 的 具体 示例 。.feature 文 件 相 当 于 可 执行 的 测试 
用 例 ， 也 称 为 可 执行 的 规范 (executable specification) ， 是 把 BDD 
需求 文档 脚本 化 。 在 执行 过 程 中 ， 它 通过 Given、When、Then 等 关 
键 字 驱 动 测试 代码 。 








。 男 一 部 分 是 Step Definition 文 件 ， 针 对 软件 行为 的 描述 编写 测试 代 
码 ， 测 试 脚本 支持 Ruby/JRuby、Java、Groovy、JavaScript、C++ 等 
多 种 语言 。 


以 在 线 教育 平台 碍 看 课程 分 销 收益 详情 的 用 户 故 事 为 例 ， 一 个 简单 
的 ,feature 文件 示例 如 图 5-15 所 示 。 


查看 课程 分 销 收益 详情 
作为 一 名 参与 课程 分 销 的 用 户 ， 我 想 查看 分 销 的 收益 详情 


用 户 查 看 课程 分 享 的 收益 详情 
我 成 功 登录 在 线 教 育 网 站 
我 进入 我 的 账户 
我 进入 课程 分 销 中 心 
我 应 该 看 到 我 的 分 销 收益 详情 





5-15 ” Cucumber 中 的 .feature 文 件 


Cucumber 目 动 把 测试 用 例 转 译 成 Step 代 码 ， 这 样 就 可 以 方便 地 添加 
相应 的 测试 代码 。Step 代 码 如 下 所 示 。 





package com.example; 

import io.cucumber.java8.En; 

import Cucumber .api.java.en.And 

import cucumber.api.java.en.Given; 

import cucumber.api.java.en.Then; 

import cucumber.api.java.en.When; 

import sun.security.util.PendingException; 


public class StepDefinitions implements En { 
@Given("^ 我 成 功 登 录 在 线 教育 网 站 $") 
public void 我 成 功 登录 在 线 教育 网 站 () throws Throwable { 

//Write code here that turns the phrase above into concrete actions 
throw new PendingException(); 


} 


@When("^ 我 进入 我 的 账户 $") 
public void 我 进入 我 的 账户 () throws Throwable { 

//Write code here that turns the phrase above into concrete actions 
throw new PendingException(); 


} 


@And("^ 我 进入 课程 分 销 中心 $") 
public void 我 并 入 课程 分 销 中 心 () throws Throwable { 

//Write code here that turns the phrase above into concrete actions 
throw new PendingException(); 


} 


@Then("^ 我 应 该 看 到 我 的 分 销 收 益 详 情 $") 
public void 我 应 该 看 到 我 的 分 销 收益 详情 () throws Throwable { 




















































































































//Write code here that turns the phrase above into concrete actions 
throw new PendingException(); 


} 








为 了 方便 理解 ， 这 里 用 中 文 编写 用 户 场景 ， 在 实践 中 完全 可 以 丛 换 
成 英文 。 除 Given-When-Then 以 外 ，Cucumber 利 用 关键 字 还 包括 
Feature、Background、Scenario、Scenario Outline、And、OR 和 了 Bnut 等 。 
如 果 在 一 个 ,feature 文件 中 的 所 有 场景 重复 相同 的 Given 步 又 ， 那 么 可 以 
归并 为 Background《〈 背 景 ) 。 以 课程 分 享 功能 里 面 的 生成 海报 这 个 用 户 
故事 为 例 ， 其 中 的 主要 用 户 场景 的 .feature 文 件 如 图 5-16 所 示 。 








生成 海报 
作为 一 名 拉 勾 教育 的 用 户 ， 我 想 参与 课程 分 享 的 活动 ， 这 样 我 就 可 以 方便 地 
把 好 的 课程 推荐 给 其 他 人 ， 并 且 还 可 以 得 到 分 销 提 成 。 


拉 勾 教育 手机 App 登 录 
我 打开 拉 勾 教育 手机 App 
我 选择 微 信 登 录 
我 应 该 成 功 进 入 App 并 看 到 课程 列表 


在 推广 列表 里 选择 一 个 课程 生成 推广 海报 
我 进入 了 课程 分 销 中 心 
我 进入 课程 推广 列表 
我 应 该 能 为 一 个 课程 生成 推广 海报 
我 可 以 把 海报 保存 到 手机 
我 可 以 复制 海报 的 链接 


在 已 购 课程 列表 里 选择 一 个 参加 了 推广 活动 的 课程 
我 进入 了 已 购 课程 列表 
我 选择 一 个 参加 了 推广 活动 的 课程 
我 应 该 能 为 这 个 课程 生成 推广 海报 
我 可 以 把 海报 保存 到 手机 
我 可 以 复制 海报 的 链接 
我 进入 课程 推广 列表 
我 在 推广 列表 里 可 以 找到 这 个 课程 


在 已 购 课程 列表 里 选择 一 个 未 参加 推广 活动 的 课程 
我 进入 了 已 购 课程 列表 
我 进入 一 个 课程 
我 找 不 到 可 以 参加 课程 分 享 的 信息 
我 进入 课程 推广 列表 
我 发 现 这 个 课程 不 在 推广 列表 里 


在 课程 列表 里 选择 一 个 参加 了 推广 活动 的 课程 
我 进入 了 首页 的 课程 列表 
我 进入 一 个 课程 
我 应 该 能 为 这 个 课程 生成 推广 海报 
我 可 以 把 海报 保存 到 手机 
我 可 以 复制 海报 的 链接 
我 进入 课程 推广 列表 
我 在 推广 列表 里 可 以 找到 这 个 课程 


在 课程 列表 里 选择 一 个 未 参加 推广 活动 的 课程 
我 进入 了 首页 的 课程 列表 
我 进入 一 个 课程 
我 找 不 到 可 以 参加 课程 分 享 的 信息 
我 进入 课程 推广 列表 
我 发 现 这 个 课程 不 在 推广 列表 里 





5-16 Cucumber 中 的 .feature 文 件 





如 有 果 几 个 场景 只 是 取 值 不 同 ， 即 业务 Oe 数据 是 变化 的 ， 
这 时 就 可 以 使 用 Scenario Outline (场景 大 纲 ) ， 通 过 Examples 表 合并 需 
要 执行 的 数据 ， 也 就 是 完成 了 需求 实例 化 ， ee 


check 
am on the login page 
enter Username 
enter password 
click on the button 


am able to login successfully 


Username password 





图 5-17 ” Scenario Outline 


相应 的 Step 测 试 代 码 如 下 所 示 。 





@RunWith(Cucumber .class) 
public class MyStepDefinitions { 


@sSteps 
Loginpage loginPpage; 


@sSteps 
HomePage hp; 


@Given("^I am on the login page $") 

public void i am on the login page() { 
loginpage.gotoLoginpagel(); 

} 


@When("^I enter \"([^\"]*)\" username$") 
public void i enter something username(String username) { 
loginpage.enterUserName(username); 


} 


@When("^I enter \"([^\"]*)\" password$") 
public void i enter something password(String password) { 
loginpage.enterpassword(password); 


} 


@When("^I click on the \"([^\"]*)\" button$") 

public void i clicke on the submit button(String strArg1) { 
hp = loginpage.submit(); 

} 


@Then("^I am able to login successfully\.$") 
public void i am able to login successfully() { 
Assert.assertNotNull(hp); 


} 
| 

在 自动 化 测试 中 ， 这 个 Scenario Outline 会 执行 两 次 ， 对 应 Examples 
表 中 的 每 一 行 数据 运行 一 次 。 关 于 需求 实例 化 ，5.6 节 将 会 详细 讲解 。 





5.5.5 BDD 实 践 中 的 第 见 问题 


BDD 作 为 敏捷 方法 的 一 项 重要 实践 ， 已 在 很 多 公司 得 到 推广 ， 其 中 
比较 重要 的 BDD 测 试 框架 Cucumber 上 自 2008 年 问世 以 来 ， 累 计 下 载 量 已 
经 超过 4 千 万 次 。 但 是 ， 也 有 很 多 公司 在 实践 BDD 的 过 程 中 发 现 效果 并 
没有 期 望 的 那么 好 。 例 如 ， 有 的 公司 仅仅 是 把 BDD 当 作 提 高 自动 化 测试 
履 蓄 率 的 手段 ， 搭 建 BDD 的 测试 框架 ， 按 照 BDD 的 格式 要 求 编写 用 户 
故事 、 实 例 化 的 可 执行 规范 、 测 斌 代码， 然后 执行 自动 化 测试 ， 却 发 现 
自动 化 测试 并 不 能 帮助 发 现 更 多 的 缺陷 、 提 高 开发 的 效率 ， 反 而 需要 花 
大 量 的 时 间 去 维护 这 些 测试 用 例 。 











这 就 是 敏捷 实践 中 所 请 的 形似 而 神 不 似 。 目 动 化 测试 并 不 是 实施 
BDD 的 唯一 目的 ， 更 重要 的 是 作为 一 种 开发 模式 保证 软件 按照 真正 的 业 
务 需求 来 开发 并 验收 。 如 果 在 编写 业务 需求 规范 的 过 程 中 只 是 走 形式 ， 
或 者 根本 没有 业务 人 员 参 与 讨论 ， 制 定 出 来 的 需求 规范 很 难保 证 正确 地 
定义 了 系统 行为 ， 当 然 就 不 能 有 效 地 指导 自动 化 测试 开发 ， 也 不 能 解决 
因为 需求 错误 或 理解 不 一 致 而 导致 的 效率 低下 问题 。 














总 之 ， 软 件 产 品 的 开发 从 理解 产品 价值 、 业 务 目 标 ， 到 定义 容易 理 
解 的 、 正 确 的 用 户 故 事 的 验收 标准 ，TDD 和 BDD 都 是 为 了 保证 研发 人 员 








按照 用 户 的 需求 实现 产品 的 功能 特性 ， 并 保证 团队 内 外 相关 人 员 对 需求 
理解 的 一 致 性 ， 从 而 高 效 、 快 速 地 交付 真正 有 价值 的 产品 给 用 户 。 








5.6 ”再 进一步 ， 证 实例 化 需求 落地 


5.6.1 什么 是 实例 化 需求 


ATDD 是 TDD 思 想 在 需求 层 的 实现 ，BDD 可 以 看 作 ATDD 的 实例 
化 ， 将 验收 标准 归 为 场景 ， 并 用 GWT 格 式 描述 。 而 实例 化 需求 
(requirements by example，RBE) 则 是 在 BDD 的 基础 上 再 进一步 ， 真 正 
让 需求 成 为 可 执行 的 测试 ， 因 为 BDD 中 的 场景 还 不 能 执行 ， 必 须 转化 为 
有 具体 的 实例 才能 执行 。 实 例 化 需求 真正 将 需求 和 测试 合 二 为 一 ， 彻 底 践 
行 “ 测 试 驱动 开发 ”的 理念 。 


实例 化 需求 是 一 组 方法 ， 它 试图 通过 具体 的 实例 来 描述 用 户 的 需求 
或 计算 机 系统 的 功能 和 行为 ， 使 业务 人 员 、 产 品 负责 人 员 、 开 发 人 员 和 
测试 人 员 等 不 同 的 利益 相关 者 对 需求 有 相同 的 理解 ， 从 而 帮助 团队 交付 
正确 的 软件 产品 ， 其 实 和 BDD 没 有 本 质 区 别 。 





如 果 党 得 这 样 的 描述 比较 抽象 ， 束 让 我 们 一 起 来 浏览 下 面 这 段 对 
话 ， 如 图 5-18 所 示 ， 从 而 体会 是 如 何 一 步 步 通 近 实 例 化 需求 的 。 这 个 对 
话 的 背景 是 你 在 和 产品 或 业务 人 员 讨 论 需 求 ， 然 后 你 问 以 下 问题 。 








。 这 是 什么 样 的 需求 ? (这 是 了 解 要 解决 的 问题 ， 一 般 通 过 功能 特性 
来 解决 。) 


涪 


用 户 会 怎么 使 用 ? (这 是 了 解 用 户 行为 ， 可 以 用 之 前 讨论 的 Epic/ 
用 户 故事 来 描述 。) 


如 果 在 某 种 具体 的 应 用 场景 下 ， 结 果 会 怎样 ? (已 经 提出 了 某 种 具 
体 的 应 用 场景 ， 在 这 种 具体 的 场景 下 ， 会 发 生 什么 新 的 情况 ? 即 到 
了 BDD 应 用 的 场景 。) 





。 再 例如 .……? ( 举 出 具体 的 例子 ， 就 来 到 了 这 里 所 讨论 的 “实例 化 
需求 ”。) 


。 还 有 .……? 《最 后 询问 例子 是 个 完整 。 ) 


这 是 什么 样 的 需求 ? 这 是 要 解决 的 问题 特性 
XE "| rr 











ba 


O 
区 询问 例子 是 否 完整 


图 5-18 ”需求 沟通 过 程 是 不 断 澄清 的 过 程 





我 们 还 是 以 在 线 教 育 App 的 “ 谍 程 分 销 ?相关 的 用 户 故 事 为 例 ， 来 讨 
论 需 求 的 实例 化 。“ 谍 程 分 销 ?下面 有 “收益 详情 交 收 益 提 现 ” 等 用 户 故 
事 。 例 如 ,， “收益 详情 ”可 以 描述 成 如 表 5-2 所 示 内 容 。 


表 5-2 “收益 详情 ”用 户 故 事 的 需求 实例 化 示例 


TT 


累计 返 现 《〈 元 ) 返 现 笔 数 邀请 人 数 


初始 化 

















新 增 的 数据 


























j 户 第 1 次 浏览 结果 








之 后 新 增 的 数据 























j 户 第 2 次 浏览 结 











而 “现金 提成 ?有 一 条 规则 ， 每 次 提现 金额 不 低 于 2 元 ， 而 且 必 须 是 
真实 名 字 ， 那 么 其 实例 化 可 以 描述 成 如 表 5-3 所 示 内 容 。 


表 5-3 “现金 提成 ”用 户 故 事 的 需求 实例 化 示例 








可 提现 金额 (元 ) 提现 金额 (元 ) 输入 姓 提现 后 剩余 金额 (元 ) 


om | | 











了 台 


2 错误 姓名 | 提现 失败 














0 
= 








需求 实例 化 的 作用 如 图 5-19 所 示 。 需 求实 例 化 可 通过 例子 来 澄清 需 
求 ， 而 这 些 例子 也 就 成 为 验证 这 个 需求 的 测试 用 例 ， 而 且 例 子 总 是 明确 
的 、 完 整 的 和 真实 的 ， 并 且 是 易于 理解 的 ， 这 可 以 从 表 5-2 和 表 5-3 得 到 
证 实 。 因 此 ， 借 助 实例 化 需求 ， 业 务 〈 产 品 ) 人 员 、 开 发 人 员 和 测试 人 
员 在 需求 理解 上 达成 共识 ， 消 除 分 上 长， 从 而 有 利于 后 续 的 开发 和 测试 。 





。 基于 已 被 澄清 的 需求 ， 开 发 人 员 进 行 系统 的 设计 、 编 程 。 


。 基于 已 被 漆 清 的 需求 ， 测 试 人 员 可 以 直接 开发 目 动 化 测试 脚本 。 










测试 
(自动 化 ) 


开发 测试 





图 5-19 ”需求 实例 化 的 作用 





5.6.2 ”实例 化 需求 的 过 程 


权 


在 清楚 了 “实例 化 需求 * 的 概念 之 后 ， 如 何 实现 一 个 需求 实例 化 的 
0 ee 
发 ， 经 过 7 个 步 又， 了 最 终 条 
〈 目 动 化 脚本 ) 。 下 面 就 介绍 一 下 这 7 个 步骤 。 


NC 


DSS 
Ce 





















需求 实例 化 的 过 程 










从 业务 目标 导出 泡 围 ， 
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&A ~ 
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旧 访 文档 系统 y 加 
OO 活 文 档 


图 5-20 ”需求 实例 化 的 过 程 





a 





并 








不 改变 需求 人 | 
描述 而 实现 
自动 验证 ， 
















1) 从 业务 目标 导出 范围 〈 见 图 5-21) 。 也 就 是 从 客户 的 业务 目标 
开始 ， 团 队 充 分 地 和 客户 沟通 ， 挖 抉 客户 的 真实 需求 或 要 解决 的 问题 ， 
确定 可 以 实现 目标 的 范围 。 这 里 要 注意 : 不 能 交 由 客户 去 编写 用 户 故 
事 、 用 例 清 单 等 ， 人 否则 就 等 同 于 让 客户 去 提供 一 个 具体 的 、 高 层次 的 解 








决 方案 。 划 分 问题 域 、 讲 好 用 户 故事 ， 是 开发 团队 的 员 任 ， 包 括 问 下 面 


两 个 问题 。 





。 为 什么 这 东西 有 用 ? 《通过 提问 ， 引 导 客 户 用 具体 的 事例 来 回答 为 
什么 菜 个 功能 有 用 ， 以 及 如 何 给 他 的 业务 融 来 帮助 。) 

。 有 什么 可 丛 代 的 方案 ? (通过 寻找 可 蔡 代 的 方 采 ， 帮 助 客 户 从 男 一 
个 角度 思考 和 认识 目 己 的 业务 目标 ， 同 时 给 团队 实现 需求 提供 新 的 
思路 ， 并 判断 当前 的 提议 是 否 已 经 是 最 佳 方案 。) 


Actor ( 参与 者 ) Impact (影响 ) 


谁 会 帮助 或 阻挠 他 们 受到 怎样 的 
我 们 ? 影响 ? 












Deliverable ( 交付 ) 
设计 什么 样 的 功能 以 支持 
所 期 望 的 影响 ? 


















图 5-21 从 业务 目标 导出 范围 的 过 程 





这 个 过 程 是 一 个 不 断 分 解 、 细 化 的 过 程 ， 是 从 Why 到 Who、How、 
What 的 过 程 〈 简 记 为 WWHW 过 程 ) ， 如 图 5-22 所 示 ， 其 中 应 用 了 上 文 
介绍 过 的 业务 分 析 工 具 一 一 影响 地 图 ， 描 述 了 产品 定位 、 产 品 特性 、 功 
能 设置 、Epic 和 用 己 故 事 之 间 的 映射 ， 以 及 最 终 交 付 哪些 价值 给 用 户 。 





为 什么 我 们 股 计 什 么 样 的 功能 以 
要 做 这 个 ? 谁 会 帮助 或 阻挠 我 们 ? 他 们 受到 怎样 的 影响 ? 支持 所 期 性 的 影响 ? 


后 台 系 统 接口 what? 





who? 
How? 


| 
| La 一 一 | ”做 新 的 广告 ”| what? 
who? How? ~ 一 ea what? 
Wa 
| Ss 用 户 发 送 电 子 闻 件 
\ How? 
N 一 一 ~[ ”关闭 负载 均衡 器 ”| what? 


who? How? 至 新 让 what? 


图 5-22 ”从 业务 目标 导出 范围 的 WWHW 过 程 














2) 明确 协作 中 各 自 的 角色 。 需 求实 例 化 过 程 就 是 在 项 目 利益 相关 
者 协作 的 过 程 中 ， 不 但 让 需求 更 加 规范 、 明 确 ， 而 且 在 需求 实例 化 过 程 
中 ， 让 产品 负责 人 、 设 计 人 员 、 开 及 人 员 和 测试 人 员 都 参与 进来 ， 改 挥 
各 个 角色 的 特长 ， 从 不 同 的 角度 来 审视 需求 ， 尽 量 减少 单个 角色 认 知 的 
局 限 性 所 带 来 的 问题 。 


而 之 前 ， 就 软件 需求 说 明 (specification) 往往 没有 达成 一 致 ， 开 发 
人 员 看 到 的 是 一 堆 需 求 ， 而 测试 人 员 看 到 的 是 一 堆 测 试用 例 ， 开 发 人 员 
和 测试 人 员 各 行 其 是 。 大 由 开发 人 员 撰写 需求 说 明 ， 该 需求 说 明 可 能 会 
因为 过 于 贴近 模型 设计 而 充斥 大 量 的 模式 、 架 构 元 素 ， 反 而 变 得 难以 理 
解 ; 奋 由 测试 人 员 独 立 舞 写 ， 可 能 会 因为 太 过 琐碎 和 和 零散 而 变 得 难以 维 
护 ， 最 终 迷 失 在 各 种 测试 的 细节 之 中 ， 没 办 法 用 于 双方 的 沟通 ， 这 样 更 
无 法 帮助 开发 人 员 去 组 织 整个 系统 的 各 个 部 分 ， 也 无 法 通过 自动 化 测试 
驱动 整个 开发 过 程 。 














由 于 这 些 测试 均 不 文 持 上 自动 化 测试 ， 或 者 不 容易 被 其 他 人 理解 ， 因 
此 协作 是 必需 的 ， 而 且 需 要 更 广泛 的 、 有 具体 的 协作 ， 在 协作 的 过 程 中 需 
要 项 目 利 益 相 关 者 共同 建立 项 目的 领域 模型 《如 系统 的 工作 流 、 活 动 图 
和 业务 流程 图 等 ) ， 但 不 讨论 技术 细节 、UI 等 ， 并 在 讨论 中 要 严格 遵循 
领域 模型 ， 这 样 能 确保 大 家 对 于 术语 和 概念 的 认 知 是 一 致 的 ， 讨 论 是 在 
共同 的 语 境 中 进行 的 。 在 构建 领域 模型 时 ， 不 但 要 关注 系统 间 的 调用 关 
系 ， 而 且 要 识别 出 系统 间 的 数据 传递 ， 识 别 越 明确 ， 对 于 后 续 举 例 越 有 
帮助 。 








3) 用 例子 描述 。 这 是 需求 实例 化 的 关键 环节 ， 因 为 团队 中 不 同 角 
色 的 背景 、 知 识 和 经 验 等 都 不 同 ， 对 系统 功能 特性 的 理解 也 往往 不 尽 相 
同 ， 所 以 通过 用 例子 描述 的 方式 可 以 让 目标 更 一 致 。 而 且 只 有 当场 景 描 
述 具 有 很 强 的 带 入 感 时 ， 才 能 激发 客户 参与 讨论 的 热情 ， 才 更 容易 达成 
共识 ， 并 发 掘 潜在 的 概念 和 需求 。 用 例子 描述 的 方式 ， 对 于 共同 认识 和 
理解 菜 个 场景 是 非常 有 益 的 ， 避 免 产 生 误解 ， 正 如 前 面 所 说 : 例子 总 是 
明确 的 、 完 整 的 和 真实 的 ， 而 且 是 易于 理解 的 。 但 例子 是 为 需求 服务 
的 ， 因 此 应 围绕 用 户 和 系统 之 间 (业务 上 ) 的 交互 来 举例 说 明 ， 而 不 是 
关注 系统 本 里 的 处 理 流程 。 














4) 细 化 需求 规格 说 明 。 虽 然 通 过 用 例子 描述 ， 需 求 看 起 来 已 经 是 
明确 的 、 具 体 而 真实 的 ， 不 同 角 色 的 人 们 就 需求 达成 了 共识 ， 但 前 面 讨 
论 的 过 程 可 以 看 作 头 脑 风 暴 的 过 程 、 发 散 的 过 程 、 分 解 的 过 程 ， 得 到 的 
实例 往往 比较 发 散 ， 而 且 包 含 很 多 不 必要 的 细节 。 原 始 的 例子 就 像 未 经 
雕琢 的 钻石 ， 只 有 提 烁 后 才 是 关键 的 、 易 理解 的 、 方 便 转 换 为 可 执行 











(自动 化 测试 ) 的 关键 实例 (key example) 。 早 期 写 市 场 需求 文档 时 ， 
也 会 给 出 用 例 ， 但 无 须 给 出 全 部 用 例 ， 而 是 给 出 典型 的 用 例 。 因 此 ， 这 
里 强调 需求 实例 的 精简 ， 提 炼 出 关键 的 实例 ， 但 这 些 关 键 实 例 也 需要 有 具 
备 一 定 的 完整 性 ， 足 以 说 明 业 务 。 这 些 提 炼 好 的 实例 本 喘 在 未 来 就 是 产 
品 交付 的 验收 条 件 ， 即 满足 : 








。 是 专注 的 、 明 确 的 、 目 解释 的 、 不 言 自 明 的 和 可 测试 的 











。 领域 意义 的 、 真 实 的 互动 ， 而 不 是 简单 的 脚本 ; 
。 是 业务 功能 相关 的 ， 而 不 仅 古 软件 设计 意义 上 的 结 
。 不 要 与 代码 、UI 等 技术 实现 细节 耦合 太 紧 。 


举 个 例子 ， 某 个 应 用 有 一 个 为 购买 图 书 的 VIP 客户 免费 送 货 的 功 
能 。 当 VIP 客户 购买 至 少 5 本 书 时 ， 提 供 免 费 送 货 ， 但 免费 送 货 不 提供 给 
普通 客户 或 购买 非 图 书 类 商品 的 VIP 客户 。 在 如 下 所 示 的 需求 说 明 中 ， 
列 出 了 5 个 经 过 提炼 的 需求 说 明 的 实例 : 当 一 个 VIP 客户 购买 5 本 书 时 、 
当 一 个 VIP 客户 购买 4 本 书 时 、 当 一 个 VIP 客户 购买 的 不 是 书 而 是 5 人 台 洗 
衣 机 时 、 当 一 个 VIP 客户 购买 5 本 书 和 一 台 洗 衣 机 时 ， 以 及 当 一 个 普通 客 
户 购买 10 本 书 时 。 经 过 提炼 的 5 个 需求 说 明 实例 如 图 5-23 所 示 。 





5) 不 改变 需求 描述 实现 目 动 验证 。 ee 
应 该 成 为 目 动 化 测试 中 可 直接 执行 的 ， 这 意味 独 用 上 自动化 的 方式 验证 的 
需求 与 团队 已 经 淤 清 、 提 炼 过 的 总 是 保持 一 模 一 样 。 实 例 化 需求 的 自动 
验证 既 可 以 是 UI 自动 化 测试 ， 叉 可 以 是 API 目 动 化 测试 。 因 此 ， 需 要 考 








虚 上 自动 化 测试 的 金字 塔 模型 ， 也 需要 从 需求 说 明 、 设 计 、 代 码 3 个 维度 
考虑 目 动 化 测试 的 可 测试 性 。 同 时 ， 目 动 验证 可 用 基于 BDD 的 自动 化 测 
试 框架 ， 选 择 适合 自己 的 工具 来 实现 验证 。 借 助 这 些 工具 ， 只 验证 系统 
做 的 事 对 不 对 ， 而 不 需要 验证 系统 是 怎么 做 的 〈 这 些 用 例 可 以 在 后 续 目 
动 化 测试 用 例 中 ， 而 不 是 在 实例 化 需求 验证 中 )， ， 尺 量 减少 测试 用 例 ， 
这 与 上 文 提 到 的 “ 细 化 需求 规格 说 明 ” 古 一 致 的 。 





: 为 VIP 客 户 免 费 送 货 

为 了 C3/ 融 育 谷 六 尘 BWNIPIYBI 

作为 井 络 毕 棕 

瑞 要 系统 NIP 蔡 户 想 代入 入 物品 的 名 喜 实 府 


汉 IP 谷 户 岗 买 至 少 5 下 为 导 , 雹 多 帮 囊 甘谷 ,， 
斋 鞠 内 亩 不 得 内 手表 滞 谷 户 研 岗 关 大 旋 HWIP 侍 户 , 


CustomerType | CartContents 





图 5-23 ”经 过 提炼 的 5 个 需求 说 明 实 例 





6) 频繁 验证 。 这 就 是 本 书 一 直 倡导 的 持续 集成 和 持续 测试 ， 要 做 
到 这 点 ， 就 必须 实现 更 彻底 的 自动 化 ， 从 需求 开始 实现 目 动 化 测试 ， 而 
且 如 前 面 所 说 ， 只 验证 系统 做 的 事 对 不 对 ， 尽 量 减 少 测试 用 例 数 。 而 在 
传统 的 开发 模式 下 ， 详 尽 的 需求 说 明 书 往往 跟 不 上 开发 中 实际 的 需求 变 
更 ， 从 而 导致 需求 文档 和 代码 之 间 不 同步 ， 开 发 人 员 只 信任 他 们 的 代 
码 ， 测 试 人 员 只 信任 他 们 的 测试 用 例 ， 两 者 又 往往 分 离 ， 导 致 开发 人 员 
和 测试 人 员 之 间 第 常 发 生 冲突 。 现 在 ， 需 求 成 为 测试 ， 开 发 人 员 和 测试 

















人 员 共 享 相同 的 测试 需求 说 明 ， 而 且 可 以 被 频繁 验证 ， 以 确保 需求 说 明 
和 代码 是 同步 的 。 如 果 没 有 同步 ， 能 够 及 时 发 现 它们 之 间 的 差异 性 ， 及 
时 修改 。 这 时 ， 开 发 人 员 和 测试 人 员 对 需求 也 更 有 信心 了 ， 不 再 只 是 信 
任 代 码 。 频 或 的 验证 需要 测试 工具 的 支持 ， 如 Cucumber、Selenium、 
Appium 等 ， 如 图 5-24 所 示 。 








SpecFlow 
Cucumber/RSpec 
Y 
Capybara 

Culerity 

1 

Selenium 2 | appium_capybara 
1 


了 AAA ， 
WebDriver 2 | Celerity 
y | 本 sw | OSIAndroid 
S > HTML 
人 @ Unit 


图 5-24 ”频繁 的 验证 需要 测试 工具 支持 























7) 演变 成 一 个 文档 系统 一 一 需求 成 了 活 文 档 ， 即 基于 规范 的 实例 
化 需求 说 明和 如 图 5-24 所 示 的 工具 文 持 ， 需 求 说 明 就 成 为 组 织 良好 的 、 
规范 的 、 可 执行 的 测试 ( 活 文档 ) 。 这 个 可 以 这 么 理解 ， 与 传统 软件 开 
发 相反 。 传 统 软 件 开发 是 基于 需求 文档 开发 的 自动 化 测试 脚本 ， 而 在 需 
求实 例 化 中 ， 基 于 自动 化 测试 脚本 抽取 相关 的 内 容 ， 自 动 生成 
HTML/PDF 格 式 的 需求 文本 ， 而 且 也 不 需要 维护 ， 需 要 时 就 生成 ， 因 
此 ， 在 任何 时 候 ， 需 求 文档 都 不 是 支离破碎 的 ， 可 以 生成 完整 的 ， 而 且 
是 最 新 的 版 本 ， 是 “ 鲜 活 ” 的 文档 ， 如 表 5-4 所 示 。 





表 5-4 同时 文 持 需求 及 其 验证 的 活 文档 


功能 文件 

















我 想 让 客户 通过 加 入 VIP 计划 注 “| 我 想 让 客户 通过 加 入 VIP 计划 注册 个 人 
册 个 人 信息 信息 .feature 
. 我 要 系统 为 VIP 客 户 提 供 特 定 物 | 我 要 系统 为 VIP 客 户 提 供 特 定 物品 的 免 
6 品 的 免费 送 货 费 送 货 .feature 






































希望 能 收 到 特价 优惠 的 信息 








5.6.3 ”RBE 的 自动 化 实现 


现 有 的 支持 BDD 的 上 自动 化 测试 框架 ， 如 Cucumber、Robot 
Framework、Behave、Ginkgo、Gauge、Karate 等 ， 同 样 支持 需求 实例 化 
的 自动 化 实现 。 如 图 5-18 和 图 5-24 所 示 都 是 采用 支持 Gerkin 语 言 的 BDD 
自动 化 测试 框架 编写 的 GWT 风 格 的 测试 用 例 。Cucumber 通 过 Examples 
关键 字 在 测试 用 例 的 .feature 文 件 中 给 出 实例 ，Robot Framework 通 过 在 
User Keyword 中 设置 参数 并 赋值 而 实现 实例 化 ， 同 时 这 也 是 很 多 自动 化 
测试 框架 所 支持 的 参数 化 和 数据 驱动 功能 。 测 试 代码 示例 如 下 。 











*** Settings 炒米 沙 
Documentation 登录 测试 1 
Resource myresource.robot 


*** Test Cases 沙洲 炒 

手机 号 码 登 录 成 功 

[Documentation] 户 用 手机 号 码 成 功 登 录 
[Tags] 登录 

[Template] 手机 号 码 登 录 数 据 
打开 在 线 教育 网 站 
进入 登录 界面 
输入 手机 号 码 ${username} 
输入 密码 ${password} 
提交 登录 信息 

应 该 登录 成 功 


[Teardown | Close Browser 












































洲 米 六 Keywords +*** 





手机 号 码 登 录 数 据 

[Arguments ] ${username} ${password} 
18611666666 1234 
8618611666666 1234 





5.7 ”单元 测试 是 否 必 须 TDD 


单元 测试 必须 TDD 吗 ?这 里 的 TDD 等 同 于 UTDD。 这 个 问题 的 答案 
很 简单 ， 回 答 “ 否 ?就 可 以 。 通 过 前 面 的 学 习 ， 相 信 读 者 具备 了 上 下 文 驱 

















业 、 产 品 特点 和 团队 能 力 等 ) 有 不 同 的 选择 ， 即 使 在 众多 互联 网 公司 
中 ， 其 单元 测试 也 是 参差 不 齐 的 。 因 此 ， 你 既 可 以 按 TDD 方 式 进行 ， 叉 
可 以 控 普 通 的 方式 进行 ， 即 先 写 一 个 产品 代码 类 ， 再 写 一 个 测试 类 。 但 
有 一 点 需要 强调 ， 无 论 是 哪 一 种 方式 ， 单 元 测试 都 要 尽早 进行 、 持 续 进 
行 ， 编 程 和 单元 测试 是 形影不离 的 。 


但 也 有 坚持 敏捷 开发 模式 的 人 会 认为 TDD、 持 续集 成 是 敏捷 开发 的 
核心 实践 ， 必 须 推 行 TDD。 虽 然 笔 者 更 强调 要 做 好 敏捷 开发 ， 但 是 
ATDD 是 必需 的 。 





如 果 没 有 TDD， 那 么 工作 量 大 有 日 效 果 不 好 。 我 们 经 常会 在 网 络 上 看 
到 人 们 有 如 下 抱 优 。 


。 需求 分 析 还 没 理解 清楚 ， 就 开始 写 代 码 ; 





e 结果 代码 写 了 一 半 写 不 下 去 了 ， 因 为 需求 细节 不 明确 ， 只 好 去 
跟 业 务 人 员 确 认 ; 


。 沟通 好 几 次 ， 终 于 写 完 这 个 单元 的 代码 ; 





。 然后 编译 ， 准 备 运行 程序 来 进行 测试 ， 结 果 无 法 运行 ， 只 好 进 
行 调试 ; 





。 调试 也 没有 那么 容易 ， 调 斌 好久， 终于 可 以 运行 了 ; 
。 提 测 ， 即 交付 给 测试 ， 结 果 质 量 保证 人 员 测 出 一 批 bug; 


。 开发 人 员 只 好 不 断 debug《〈 指 排除 程序 漏洞 或 缺陷 ) 、 改 代 
码 ， 提 交 测 试 ; 





。 几 个 来 回 后 ， 代 码 终 于 可 以 工作 了 ; 
。 过 一 段 时 间 ， 换 一 个 程序 员 ， 再 看 这 些 代 码 ， 发 现 无 从 下 手 ; 


。 但 又 不 得 不 改动 ， 结 果 引 起 大 量 的 bug， 测 试 人 员 只 好 加 班 ， 
还 有 抱怨 。 


。 开发 人 员 的 日 子 就 这 样 日 复 一 日 、 年 复 一 年 。 


5.7.1 为何 TDD 是 必需 的 


为 什么 说 TDD 是 必需 的 ?理由 如 下 。 


质量 是 构建 的 。 美 国 质量 大 师 克 劳 士 比 极力 推 各 和 零 缺 陷 质 量 管理 ， 
他 写 了 《质量 免费 》 一 书 ， 就 是 为 了 纠正 人 们 错误 的 观点 一 一 要 想 获得 
更 高 的 质量 ， 残 需要 付出 更 高 的 代价 。 如 果 第 一 次 把 事情 做 对 ， 那 么 六 
率 是 最 高 的 ， 成 本 也 是 最 低 的 。 在 代码 层次 推行 IDD， 先 写 测 试 代 码 ， 
再 写 产 品 代码 ， 一 方面 会 连 使 开发 人 员 把 需求 搞 清 楚 、 澄 清 需求 细节 ， 
而 不 是 像 前 面 所 说 ， 没 搞 清 楚 束 写 代 码 ， 写 了 一 半 束 写 不 下 去 了 ; 为 一 
方面 ， 所 有 写 的 代码 是 让 测试 通过 ， 也 就 是 充分 地 保证 第 一 次 把 代码 写 
对 。 这 样 ， 真 正 推行 了 “和 零 缺陷 质量 管理 ”， 研 发 效率 是 最 高 的 。 

















单元 测试 ， 只 能 是 目 己 做 ， 不 适合 交 给 别人 。 对 于 开发 人 员 目 己 做 
测试 ， 如 果 开 发 人 员 先 实现 产品 代码 ， 再 进行 测试 ， 那 么 可 能 会 有 思维 
障碍 和 心理 障碍 。 因 为 测试 的 思维 会 受 实现 的 思维 有 影响， 所 以 开发 人 员 
一 般 会 认为 目 己 的 实现 是 正确 的 ， 束 像 我 们 平时 写 文 草 ， 有 些 明显 的 错 
误 目 己 看 不 见 ， 其 他 人 一 眼 就 能 看 出 ， 似 乎 印证 了 “当局 者 迷 ， 旁 观 者 
清 ”。 心 理 障 碍 是 指 开 发 人 员 对 自己 的 代码 不 会 “ 穷 奶 猛 打 ”， 发 现 了 一 
些 人 缺陷， 很 可 能 会 放任 不 管 。 

















我 们 知道 ， 实 际 上 缺陷 越 多 的 地 方 越 有 风险 ， 越 要 进行 足够 的 训 
试 。 但 开发 人 员 测试 目 己 的 代码 和 测试 人 员 测 试 开发 的 代码 ， 其 心理 完 
全 不 同 : 开发 人 员 会 只 按 正 党 路径 操作 ; 测试 人 员 则 会 大 胆 等 试 各 种 可 
能 使 软件 失效 的 方式 。 如 果 是 采用 TDD 实 践 ， 开 发 人 员 先 写 测 试 代码 ， 
测试 在 前 ， 就 不 存在 思维 障碍 和 心理 障碍 ， 这 样 才 能 更 好 地 保证 测试 的 
有 效 性 、 充 分 性 ， 也 就 更 好 地 确保 了 代码 的 质量 。 














TDD 是 测试 在 前 ， 开 发 在 后 ， 自 然 也 保证 了 代码 的 可 测试 性 ， 而 且 
确保 100% 的 测试 履 盖 率 ， 是 最 为 彻 撒 的 单元 测试 ， 相 当 于 测试 脚本 在 
每 个 时 刻 都 是 就 绪 的 ， 任 何 时 刻 单元 测试 都 已 经 是 先 于 代码 完成 的 ， 真 
正 能 做 到 持续 交付 ， 即 真正 确保 敏捷 的 终极 目标 一 一 持续 交付 的 实现 。 
没有 TDD， 就 没有 真正 的 持续 交付 。 








当初 在 极限 编程 中 提出 TDD， 设 计 TDD 那 样 的 模式 ， 如 图 5-25 所 
示 ， 也 是 考虑 “ 写 新 代码 ”和 “代码 重 构 ” 共 用 一 个 模型 。 而 在 敏捷 开发 
中 ， 开 发 节奏 快 ， 代 码 经 常 需要 重 构 ， 而 重 构 的 前 提 是 单元 测试 的 脚本 
就 绕 ， 你 才 敢 大 胆 地 重 构 、 有 信心 重 构 。 因 此 ， 从 代码 重 构 角 度 来 看 ， 
TDD 也 是 必需 的 。TDD 做 得 好 ， 重 构 会 持续 进行 ， 代 码 修 改 一 般 也 不 会 
出 现 什么 缺陷 ， 即 使 出 现 1 一 2 个 bug， 也 是 小 问题 ， 很 容易 修改 ， 并 及 
时 补 上 测试 代码 。 代 码 的 “ 坏 味道 ?能 及 时 被 消除 ， 从 而 让 代码 变 得 整 
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图 5-25” TDD 流程 示意 图 


5.7.2 ”如 何 做 好 TDD 


TDD 从 根本 上 改变 了 开发 人 员 的 编程 态度 ， 开 发 人 员 不 能 再 像 过 去 
那样 随意 写 代码 ， 要 求 写 的 每 行 代码 都 是 有 效 的 代码 ， 写 完 所 有 的 代码 
就 意味 着 真正 完成 了 编码 任务 。 而 在 此 之 前 ， 代 码 写 完了 ， 实 际 上 工作 
只 完成 了 一 半 ， 远 没有 结束 ， 因 为 单元 测试 还 没 执行 ， 可 能 会 发 现 许多 
音 误 ， 一 旦 发 现 缺陷 比较 多 ， 就 比较 难以 定位 与 修正 缺陷 。 














开发 人 员 如 何 做 好 TDD 呢 ? 


TDD 是 逐步 构建 的 ， 因 此 ， 单 元 测试 是 持续 的 ， 每 次 测试 的 东西 也 
比较 少 ， 发 现 问题 很 容易 定位 ， 运 行 很 快 ， 可 以 快速 得 到 反馈 。 除 此 之 
外 ， 测 斌 代码 一 定 要 简单 ， 易 于 阅读 和 理解 ， 否 则 就 进入 “ 死 ” 循 环 ， 即 
测试 代码 还 需要 测试 。 














测试 是 否 容易 开展 ， 还 取决 于 被 测 的 对 象 一 一 组 件 或 具体 的 产品 代 
码 ， 如 将 程序 组 件 打磨 成 高 内 聚 、 低 耦合 的 组 件 ， 使 测试 容易 进行 ， 即 
单元 测试 能 够 独立 执行 ， 而 且 我 们 还 构建 持续 集成 的 开发 环境 ， 确 保 研 
发 环境 能 够 对 代码 小 的 变化 做 出 快速 响应 。 这 也 就 要 求 用 户 故 事 分 解 到 
位 ， 之 前 也 提 到 过 用 户 故 事 评审 标准 INVEST 中 的 small 一 一 即 用 户 故 事 
要 足够 小 。 








5.7.3 UTDD 测 试 原则 


肯特 :贝克 在 极限 编程 中 给 实施 TDD 定 义 了 以 下 2 个 简单 的 规则 。 


。 只 有 在 自动 化 测试 失败 时 ， 才 应 该 编写 新 的 业务 代码 。 这 一 点 就 是 


确保 编写 新 的 业务 代码 是 在 测试 的 指引 下 ， 也 是 确保 了 彻底 的 
TDD， 人 否则 今天 退让 一 点 ， 明 天 再 退让 一 点 ， 最 后 还 是 会 放 茎 
TDD 。 





应 该 消除 发 现 的 任何 重复 ， 使 测试 代码 简单 ， 易 于 复 用 ， 有 利于 测 
试 维护 。 





更 为 苛刻 的 规则 是 下 面 3 条 。 





除非 是 为 了 使 一 个 失败 的 单元 测试 通过 ， 否 则 不 允许 编写 任何 产品 
代码 ， 确 保 任 何 产品 代码 都 来 目 需求 。 


在 单元 测试 中 ， 只 人 允许 编写 刚好 能 够 导致 失败 的 一 个 训 试 用 例 〈 脚 
本 ) ， 确 保 测试 的 单一 性 ， 容 易 维护 。 如 果 单 元 测试 的 粒度 过 粗 ， 
不 但 使 测试 长 时 间 不 能 通过 ， 增 加 开发 人 员 的 压力 ， 而 且 后 期 测试 
维护 成 本 过 融 。 





只 人 允许 编写 刚好 能 够 使 一 个 失败 的 单元 测试 通过 的 产品 代码 ， 人 否则 
产品 代码 的 实现 超出 当前 测试 的 功能 ， 那 么 这 部 分 代码 束 没 有 测试 
的 保护 。 


上 述 这 些 规则 ， 使 开发 人 员 更 为 关注 业务 需求 ， 关 注 可 持续 的 快速 
开发 ， 用 最 快 的 方式 实现 一 个 个 产品 的 小 需求 〈 小 步 快 跑 ) 。 不 过 ， 话 
又 说 回来 ， 定 义 这 些 规则 是 次 要 的 ， 更 重要 的 是 开发 人 员 能 够 认可 TDD 
的 价值 ， 愿 意 主动 去 做 TDD。 如 果 是 主动 去 做 ， 那 么 在 具体 实践 中 过 到 
问题 就 会 设法 解决 问题 或 做 出 改进 ， 如 果 是 被 强制 实施 TDD， 即 被 动 地 





去 做 TDD， 不 但 不 寻求 改进 ， 而 且 还 可 能 会 出 现 * 上 有 政策 ， 下 有 对 
全 ”的 局 面 。 


5.7.4 UTDD 的 具体 实践 


下 面 用 一 个 例子 来 介绍 UTDD 的 具体 实践 。 假 设 我 们 有 一 个 需求 是 
为 一 个 应 用 开发 登录 的 功能 : 用户 输入 用 户 名 和 和 密码， 然后 单 击 “ 登 
录 ” 按 钮 登录 应 用 。 


第 1 步 ， 我 们 编写 一 个 单元 测试 脚本 用 于 验证 这 个 功能 ， 如 下 所 


@Test 
Public void checkLogin(){ 
Loginpage.enterUserName("UserName"); 


Loginpage.enterpassword("Password"); 
HomePage homepPage = Loginpage.submit(); 
Assert.assertNotNULL(ChomePage ) ; 





第 2 步 ， 我 们 先 执行 这 个 测试 脚本 ， 因 为 还 没有 实现 相应 的 软件 功 
能 ， 这 时 测试 结果 一 定 是 “Fail”(“ 失 败 ”) 。 


第 3 步 ， 现 在 我 们 编写 登录 功能 的 代码 ， 如 下 所 示 。 





public class Loginpaget{ 


String username; 
String password; 


//store username 
public void enterUserName(String username){ 
this.username = username; 


} 


//store password 
public void enterPassword(String password){ 
this.password = password ; 


} 


//match username and passowrd in db and return home page 
public HomePage submit(){ 
if(username.existsInDB())t{ 
String dbPassword = getPasswordFromDB(username); 
if(dbPassword.equals(password){ 
Return new HomePage() ; 











第 4 步 ， 再 次 运行 单元 测试 脚本 ， 这 时 测试 结果 是 “Pass”(“ 通 
过 ”) 。【〈 当 然 ， 如 果 代 码 中 有 和 错误， 这 时 测试 结果 仍然 会 显示 “Fail”， 
开发 人 员 需 要 修改 代码 直到 测试 脚本 执行 通过 。) 








第 5 步 ， 开 发 人 员 有 必要 重 构 这 段 代 码 中 的 submit() 方 法 ， 当 密码 输 
入 错误 时 ， 增 加 返回 信息 提示 。 重 构 的 代码 在 重新 执行 上 述 单元 测试 脚 
本 时 结果 应 该 仍然 显示 “Pass”， 否 则 应 该 检查 并 修改 代码 直至 通过 。 这 
就 是 在 不 改变 代码 既 有 功能 的 前 提 下 通过 重 构 代码 来 提高 代码 质量 。 
构 后 submit() 方 法 的 代码 如 下 所 示 。 

















//match username and password in db and return home page 
public HomePage submit(){ 
if(username .existsInDB() ){ 
String dbPassword = getPasswordFromDB(username ) ; 
if(dbPassword.equals(password){ 
Return new HomePage() ; 


} 

else{ 
System.out.println("Please provide correct password"); 
return; 


} 
elset{ 
System.out.println("Please provide correct username"); 





接 下 来 就 可 以 重复 上 述 步骤 ， 填 加 新 的 测试 脚本 ， 开 发 应 用 代码 实 
现 新 的 功能 等 。 


概括 一 下 ，TDD 带 来 的 收益 主要 有 : 


TDD 促 进 高 质量 代码 的 开发 ， 从 而 提高 了 研发 效率 ， 看 似 在 编程 之 
前 花 了 比较 多 的 时 间 ， 但 在 后 期 维护 、 重 构 中 省 时 又 省 力 ; 





TDD 克 服 了 开发 的 惯性 思维 和 心理 障碍 ， 确 保单 元 测试 的 有 效 性 ; 


TDD 确 保 了 可 测试 性 ， 并 确保 单元 测试 的 充分 性 ; 





TDD 加 快 了 编程 反馈 和 节 考 ， 单 元 测试 始终 就 绪 ， 彻 展 文 持 持续 区 
付 。 


本 章 小 结 


测试 左 移 让 测试 活动 从 需求 分 析 阶 段 开始 ， 敏 捷 团 队 共同 参与 到 需 
求 分 析 中 ， 共 同 对 需求 的 质量 负责 。 





TDD 强 调 “ 测 试 在 前 ”， 很 多 人 以 为 TDD 就 是 指 UTDD， 实 际 上 TDD 
包含 两 个 层次 ， 即 代码 层次 的 UTDD 和 业务 层次 的 ATDD。 


相 比 UTDD， 业 务 层次 的 ATDD 更 容易 推广 实施 ， 要 做 好 敏捷 测 





试 ，ATDD 是 必需 的 。 在 需求 〈 用 户 故 事 ) 中 明确 验收 标准 ， 是 后 续 开 
展 各 项 测试 活动 的 保证 。 


比 ATDD 更 进一步 的 是 BDD， 通 过 规范 化 的 用 户 故 事 场 景 描 述 ， 进 
一 步 确保 了 需求 的 可 测试 性 。 而 RBE“〈 需 求实 例 化 ) 进一步 让 实例 化 的 
需求 可 以 直接 用 自动 化 的 方式 来 执行 并 验证 。 








测试 左 移 包 括 多 项 符合 质量 内 建 的 敏捷 思维 的 优秀 实践 ， 即 把 质量 
和 审核 贯彻 到 研发 的 每 一 个 步骤 和 环节 。 想 要 在 实际 的 敏捷 开发 项 目 中 
让 测试 左 移 带 来 更 多 的 价值 ， 需 要 我 们 在 各 项 测试 活动 中 持续 关注 可 测 
试 性 ， 实 实在 在 地 做 好 需求 /设计 评审 ， 大 力 推 行 ATDD、BDD 和 需求 实 
例 化 ， 并 且 彻 底 实 现 自动 化 测试 。 


延伸 阅读 


在 《单元 测试 的 艺术 》 一 书 中 给 出 了 一 个 案例 : 开发 能 力 相 近 的 两 
个 团队 A、B， 同 时 开发 相近 的 需求 。A 团 队 进行 单元 测试 ，B 团 队 不 做 
单元 测试 。 虽 然 A 团 队 在 编码 阶段 花费 的 时 间 要 多 一 倍 ， 从 7 天 增加 到 
14 天 ， 但 是 ，A 团 队 在 集成 、 系 统 测试 上 却 表现 得 非常 好 ， 如 bug 数 量 
少 、 定 位 bug 快 等 。 最 终 ， 相 对 B 团 队 ，A 团 队 整 体 交付 时 间 短 、 缺 陷 数 


少 ; 


ph 


Ruby on Rails 的 开发 者 戴 维 : H. 汉 松 在 2014 年 的 RailsConf 中 发 表 了 
开 硕 主题 演讲 ， 对 TDD 的 价值 进行 了 质疑 甚至 是 否定 。 之 后 汉 松 又 写 了 
两 篇 文章 进一步 前 述 了 他 的 观点 ， 一 篇 是 本 章 提 到 的 《TDD 已 “ 死 ”， 测 








试 永 “ 生 ”》， 男 一 篇 是 《测试 引起 的 伤害 》(“Test-induced design 
damage”)。 汉 松 的 观点 在 社区 引起 了 广泛 的 讨论 ， 更 由 此 引发 了 福 勒 、 
汉 松 和 贝克 的 一 系列 精彩 讨论 。TDD 是 极限 编程 的 核心 实践 之 一 ， 而 极 
限 编 程 是 由 贝克 提出 的 。 福 勒 作为 《 重 构 : 改善 既 有 代码 的 设计 》 一 
书 的 作者 ， 当 然 是 拥护 TDD 的 。 这 也 是 为 什么 这 3 个 人 会 一 起 讨论 这 个 
话题 的 原因 。 如 有 果 希 望 更 多 地 了 解 大 师 们 的 观点 和 论据 ， 那 么 可 以 在 福 
勒 的 个 人 网 站 上 找到 相关 讨论 的 视频 和 记录 。 





第 6 章 ”敏捷 测试 的 分 析 与 计划 
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敏捷 测试 的 分 析 与 计划 应 该 建立 在 测试 左 移 的 基础 之 上 ， 即 团队 成 
员 通 过 参与 需求 的 定义 和 评审 对 产品 和 目标 用 户 已 经 有 了 全 面 的 了 解 ， 
在 此 基础 上 进行 测试 需求 的 分 析 、 测 试 风险 分 析 、 测 试 集 略 制定 ， 并 最 
终 为 每 个 达 代 定义 测试 计划 。 








同时 ， 敏 捷 测 试 分 析 是 以 上 下 文 驱 动 的 思维 为 基础 的 ， 团 队 成 员 根 


据 需 求 变更 、 新 的 测试 范围 和 新 的 测试 风险 及 时 地 调整 测试 策略 ， 不 断 
优化 测试 计划 。 这 更 加 体现 测试 的 敏捷 化 。 敏 捷 测 试 中 虽然 也 有 “测试 
计划 制定 和 评审 通过 ”的 里 程 碑 ， 但 更 强调 测试 计划 是 一 项 活动 或 者 一 
个 过 程 ， 而 不 是 一 个 复杂 的 文档 。 


6.1 基于 上 下 文 驱 动 思 维 的 测试 分 析 








关于 上 下 文 驱动 的 测试 思维 ， 我 们 在 第 2 章 的 敏捷 测试 思维 方式 中 
简单 介绍 过 ， 它 是 指 我 们 要 关注 项 目的 上 下 文 〈 所 处 的 环境 、 所 要 满足 
的 条 件 ) ， 并 认识 到 上 下 文 是 会 变化 的 ， 测 试 策略 和 方法 要 根据 上 下 文 
来 制定 ， 并 根据 其 变化 及 时 调整 、 不 断 优化 。 上 下 文 驱动 的 测试 思维 是 
主要 的 敏捷 思维 方式 ， 也 是 敏捷 开发 模式 下 做 好 测试 分 析 的 基础 。 





6.1.1 上 下 文 驱动 测试 流派 


软件 测试 有 几 个 主要 流派 ， 如 图 6-1 所 示 ， 包 括 分 析 流 派 、 标 准 流 
派 、 质 量 流派 、 上 下 文 驱 动 测试 流派 和 敏捷 测试 流派 。 其 中 敏捷 测试 流 
派 有 敏捷 测试 的 思维 、 原 则 、 流 程 及 一 系列 实践 ， 如 UTDD、 
ATDD/BDD、 持 续 测试 等 。 对 于 上 下 文 驱 动 测试 流派 ， 虽 然 使 用 它 的 人 
不 是 很 多 ， 但 是 你 一 旦 理解 它 ， 就 会 深 受 影响 ， 对 软件 测试 也 会 有 它 新 
的 理解 : 测试 在 你 眼 里 不 再 是 一 项 简单 、 重 复 的 劳动 ， 而 变 成 了 一 项 极 
具 创 造 力 的 工作 ， 并 且 它 会 赋予 你 充分 的 空间 ， 以 展示 你 的 才华 和 能 
2 











上 下 文 驱 动 测试 流派 最 初 是 由 4 个 人 发 起 的 ， 其 中 塞 姆 ' 卡 纳 、 往 姆 
斯 :巴赫 和 布雷 特 : 皮 带 科 德 在 2001 年 合 著 了 一 本 经 典 之 作 《 软 件 测试 经 
验 与 教训 》， 并 在 书 中 正式 提出 了 上 下 文 驱 动 测试 流派 及 其 7 个 原则 。 





1) 任何 实践 活动 的 价值 都 取决 于 它 所 处 的 上 下 文 。(The value of 


any practice depends on its context.) 





2) 只 存在 特定 上 下 文中 的 优秀 实践 ， 而 没有 最 佳 实践 。(There are 


good practices in context, but there are no best practices.) 





3) 在 一 起 工作 的 团队 成 员 是 项 目 上 下 文中 非常 重要 的 组 成 部 分 。 
(People, working together, are the most important part of any project’s 


context.) 


4) 项 目 经 常 按 照 难以 预测 的 方式 逐渐 开展 。(Projects unfold over 


time in ways that are often not predictable.) 


5) 产品 是 一 种 解决 方案 。 如 果 提 供 的 方案 不 能 解决 问题 ， 那 么 产 
品 就 是 无 用 的 。(The product is a solution. If the problem ism’t solved, the 


product doesn’t work.) 


代表 传统 测试 : 强调 系统 的 逻辑 分 析 
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轻 量 型 测试 工具 
实践 : TDD/ATDD/BDD 










图 6-1 软件 测试 的 流派 


6) 好 的 软件 测试 是 一 个 富有 挑战 性 的 留 力 过 程 。(Good software 


testing is a challenging intellectual process.) 





7) 只 有 通过 判断 和 技能 ， 并 在 整个 项 目 过 程 中 大 家 持续 协作 并 实 
践 ， 我 们 才能 在 正确 的 时 间 做 正确 的 事情 ， 以 有 效 地 测试 我 们 的 产品 。 
(Only through judgement and skill, exercised cooperatively throughout the 
entire project are we able to do the right things at the right times to 


effectively test our products.) 





巴赫 是 上 下 文 驱动 测试 流派 的 代表 人 物 ， 多 年 以 来 ， 他 和 迈克 尔 - 
博尔顿 一 直 在 实践 和 发 展 上 下 文 驱动 的 思想 ， 包 括 他 提出 的 探索 式 测 





试 、 局 发 式 测试 策略 模型 、 基 于 会 话 的 测试 管理 (session-based test 
management，SBTM) 和 快速 软件 测试 (rapid software testing，RST) 
方法 论 。 可 以 说 ， 巴 区 的 整个 测试 理论 体系 都 是 建立 在 上 下 文 驱动 的 测 
试 思维 基础 之 上 的 。 


上 下 文 驱动 的 测试 是 一 种 思维 方式 ， 认 为 只 有 优秀 实践 ， 没 有 最 佳 
实践 ， 因 为 他 人 的 最 佳 实践 不 一 定 适合 我 们 。 即 使 我 们 有 自己 的 最 佳 实 
践 ， 也 只 能 说 明 在 昨天 是 最 佳 的 ， 并 不 代表 今天 和 明天 是 最 佳 的 。 软 件 
测试 也 一 样 ， 震 要 根据 不 同 的 上 下 文 制 定 不 同 的 测试 方案 ， 选 择 不 同 的 
测试 技术 和 工具 ， 并 对 它们 运用 自如 ， 然 后 去 发 现 影 响 产 品 价值 的 缺 
陷 。 这 有 点 像 中医 看 病 ， 同 样 的 病 ， 针 对 病人 的 不 同情 况 ， 会 开 出 不 同 
的 药方 ， 而 且 根据 病情 的 变化 ， 增 减 不 同 的 药 ， 调 整 每 味 药 的 剂量 ， 你 
能 说 哪个 药方 是 治疗 某 种 病 的 最 好 药方 吗 ? 

















因此 ， 上 下 文 驱动 的 测试 认为 不 存在 “ 放 之 四 海 而 丝 准 ”的 最 佳 实 
践 ， 而 只 有 根据 上 下 文 不 断 调整 的 优秀 实践 。 也 正 因为 如 此 ， 软 件 测 试 
才 是 一 项 有 创造 力 、 需 要 不 断 磨 练 和 提升 自己 的 工作 。 





下 面 是 一 些 上 下 文 驱动 测试 的 具体 例子 。 


。 在 项 目 进行 中 ， 以 前 开发 茶 一 重要 模块 的 开发 人 员 离 职 了 ， 现 在 换 
了 一 个 没有 经 验 的 开发 人 员 。 这 一 模块 的 风险 是 不 是 要 重新 评估 ? 


测试 范围 是 不 是 需要 调整 ? 














。 公司 准备 把 产品 的 目标 用 户 拓展 到 医疗 或 者 航天 领域 ， 是 不 是 必须 
遵守 医疗 或 者 航天 领域 的 行业 规范 和 安全 标准 ? 





。 敏捷 模式 强调 测试 堪 移 ， 如 果 项 目 很 好 地 实践 了 需求 评审 、 设 计 评 
审 和 代码 评审 ， 那 么 你 的 测试 策略 是 怎样 的 ? 如 果 没 有 ， 那 么 你 的 
测试 策略 又 该 怎样 制定 ? 





上 下 文 驱 动 的 思维 方式 提倡 灵活 和 变通 ， 与 之 对 立 的 是 固执 己见 ， 
墨守成规 。 一 旦 陷入 后 面 这 种 思维 方式 ， 葡 很 难 有 所 突破 。 与 上 下 文 驱 
动 的 软件 测试 相对 立 的 实践 是 标准 流派 ， 它 主张 一 切 几 有 标准 可 以 参 
考 ， 可 以 按部就班 地 进行 测试 ， 按 照 标准 所 要 求 的 方法 、 流 程 和 步骤 进 
行 测试 。 标 准 不 但 明确 ， 而 且 稳定 、 很 少 变 化 ， 基 于 标准 去 做 测试 ， 就 
简单 得 多 ， 几 了 乎 不 需要 动 什么 脑子 ， 只 要 对 照 标准 去 做 检查 
Ccheck) ， 检 查 产 品 是 否 符 合 标 准 的 要 求 。 然 而 ， 以 巴赫 等 为 代表 的 
上 下 文 驱动 测试 流派 则 认为 这 种 “检查 ”不 是 测试 。 许 多 人 豆 欢 标准 流派 
的 测评 方式， 因为 操作 简单 、 上 手 快 、 容 易 复制 ， 也 容易 实现 度量 ， 成 
熟 度 也 能 一 级 级 提升 。 

















而 上 下 文 驱动 的 测试 正好 与 标准 流派 相反 ， 它 认为 测试 是 不 能 标准 
化 的 ， 因 为 软件 研发 中 没有 任何 一 个 上 下 文 是 相同 的 ， 不 同 的 上 下 文 惑 
需要 不 同 的 测试 策略 和 测试 方法 ， 提 倡 关注 对 于 业务 需求 的 测试 履 盖 和 
发 现 对 用 户 有 影 啊 的 缺陷 。 














上 下 文 驱动 不 但 是 敏捷 测试 ， 而 且 是 敏捷 开发 的 重要 基础 。 敏 捷 模 
式 强 调 拥 抱 变 化 ， 快 速 啊 应 客户 需求 。 实 践 上 下 文 驱动 的 软件 测试 就 是 
要 根据 项 目的 变化 及 时 调整 测试 策略 和 测试 方法 ， 快 速 和 持续 地 给 出 反 


馈 。 











基于 上 下 文 驱动 的 局 发 式 测试 策略 模型 (heuristic test strategy 

model，HISM) 是 用 来 进行 测试 分 析 并 制定 测试 策略 的 重要 工具 。 它 
侧重 从 质量 标准 、 项 目 背景 、 产 品 元 又 3 个 方面 考虑 对 于 在 项 目 所 选择 
的 测 斌 技术、 方法、 工具 的 影响 ， 每 个 方面 都 包含 多 项 因素 ， 即 各 种 上 
下 文 因素 ， 在 此 基础 上 制定 测试 策略 并 最 终 向 用 户 交 付 满足 其 质量 标准 
的 产品 ， 如 图 6-2 所 示 。 只 有 把 上 下 文 各 种 因素 的 影响 弄 清楚 ， 基 于 上 
下 文 驱 动 的 测试 思维 才能 落地 。 下 面 我 们 就 来 详细 分 析 、 讨 论 这 些 上 下 
文 因素 。 











图 6-2 





6.1.2 质量 标准 


软件 的 质量 标准 ， 从 根本 上 来 说 ， 就 是 为 了 引导 和 满足 用 户 的 需 
求 。 软 件 测 试 的 目标 ， 在 一 定 意义 上 来 说 ， 就 是 为 了 保证 软件 产品 质量 
具有 较 高 的 水 平 。 产 品 的 质量 主要 依靠 构建 ， 也 在 很 大 程度 上 依赖 于 软 
件 测 试 的 投入 以 及 执行 的 结果 。 因 此 ， 要 做 好 测试 工作 ， 必 须 认 真 回答 
下 面 几 个 问题 。 





1. 软件 给 谁 用 


用 户 是 谁 ? 有 天 天 离 不 开 它 的 核心 用 户 ， 也 有 侦 尔 使 用 它 的 外 部 用 
户 ， 如 系统 后 人 台 维 护 、 技 术 支 持 的 用 户 。 当 前 的 用 户 构 成 是 怎样 的 ? 拿 
到 的 用 户 画 像 是 怎样 的 ? 用 户 根 据 年 龄 、 职 业 、 受 教育 程度 等 是 如 何 分 
布 的 ? 未 来 哪些 人 会 成 为 新 的 用 户 ? 软 件 测试 人 员 要 站 在 用 户 角 上 度 想 问 
题 ， 分 析 、 设 计 软 件 测试 。6.2 克 会 专门 讲解 作为 测试 人 员 如 何 培养 目 
己 的 业务 与 用 户 体验 分 析 技 能 。 











2 用户 对 质量 有 什么 具体 要 求 


根据 ISO 25000 系 列 标准 ， 软 件 产 品质 量 包含 8 个 质量 特性 功能 适 
应 性 、 兼 容 性 、 可 靠 性 、 易 用 性 、 安 全 性 、 效 率 〈 人 性 能 ) 、 可 维护 性 和 
可 移植 性 。 每 个 质量 特性 还 进一步 细 分 为 多 个 子 特性 ， 如 图 6-3 所 示 。 
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产品 质量 
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图 6-3 ”产品 质量 模型 





基于 这 些 特性 ， 结 合用 户 、 业 务 和 产品 特点 等 进行 更 深入 的 分 析 ， 
以 了 解 对 质量 的 具体 要 求 ， 以 及 哪些 质量 特性 需要 优先 关注 。 例 如 ， 对 
于 运营 商定 制 的 手机 产品 ， 不 同 的 运营 商 有 不 同 的 验收 测试 体系 和 质量 
标准 ， 如 美国 AT&T 制 定 的 10776 等 系列 标准 ， 对 手机 稳定 性 的 要 求 非 








A 过- 
吊 辣 | 。 


3， 参 照 哪些 质量 标准 或 行业 规范 





产品 必须 要 遵守 哪些 质量 标准 或 行业 规范 ? 这 个 问题 是 需要 认真 解 
决 的 。 无 论 是 航空 航天 、 汽 车 、 电 子 行业 ， 还 是 金融 、 运 输 行业 ， 除 通 
用 的 国际 /国家 标准 以 外 ， 还 有 特定 的 行业 质量 标准 或 规范 。 了 解 了 用 
户 来 目 哪 个 领域 或 行业 ， 束 要 收集 和 热 悉 该 行业 的 规范 和 标准 。 例 如 ， 
如 果 项 目 是 证 券 行业 应 用 系统 的 开 及 ， 那 么 这 属于 金融 行业 范畴 的 项 
目 ， 束 会 有 200 多 项 相关 规范 或 标准 。 








对 于 产品 的 特定 功能 ， 也 有 相应 的 规范 和 认证 ， 如 支持 蓝牙 功能 的 
产品 ， 如 果 想 在 产品 外 观 上 贴 上 药 牙 标志 ， 则 必须 通过 BQB (Bluetooth 
Qualification Body) 认证， 否则 会 被 蓝牙 技术 联盟 视 为 侵权 。 这 时 ， 企 
业 需 要 考虑 如 何 开展 预测 试 ， 以 保证 产品 在 预期 的 时 间 内 拿 到 认证 。 


6.1.3 项 目 背 景 


软件 测试 是 软件 项 目的 一 部 分 ， 要 做 好 软件 测试 ， 目 然 要 清楚 项 目 
的 背景 ， 特 别 是 和 软件 测试 相关 的 项 目 背景 。 获 取 、 分 析 和 综合 理解 与 
这 些 背 景 相关 的 详细 信息 ， 可 以 更 好 地 明确 测试 目标 、 测 试 范 围 、 测 试 
进度 安排 、 测 试 资源 和 测试 环境 等 ， 并 且 可 以 采用 相 适 应 的 测试 方法 和 
打上 略 ， 更 好 地 开展 测试 活动 。 需 要 收集 的 项 目 背景 包括 以 下 几 个 ( 见 图 
6-4) 。 











项 目 目标 : 测试 是 为 了 实现 项 目的 目标 ， 或 者 说 ,测试 目标 是 在 项 
目 目标 的 基础 上 制定 的 。 





交付 物 : 在 每 次 产品 发 布 中 ， 研 发 团队 不 但 要 交付 相应 版 本 的 软 
件 ， 而 且 要 交付 相关 的 文档 ， 包 括 用户 手 册 、 管 理 员 手 册 等 。 交 付 
物 也 直接 影响 测试 范围 和 测试 工作 ， 如 有 果 要 交付 用 户 手 册 、 管 理 员 
手册 等 ， 那 么 这 些 文档 也 需要 验证 ， 如 果 要 交付 测试 计划 、 测 试用 
例 ， 那 么 目 然 必须 要 有 而 且 需 要 规范 、 易 读 。 








质量 标准 : 这 里 的 质量 标准 是 指 当 前 项 目 ( 即 敏捷 中 的 每 次 达 代 ) 
对 质量 的 具体 要 求 。 例 如 ， 这 次 过 代 中 待 实 现 的 茶 个 功能 要 求 团队 
特别 关注 ， 而 男 一 个 功能 只 是 尝试 ， 这 样 在 功能 测试 项 的 优先 级 安 
排 上 ， 前 一 个 功能 的 优先 级 要 高 得 多 一 一 尽早 调试 、 充 分 测试 ， 又 
如 ， 这 次 迭代 系统 能 文 持 的 用 户 并 发 数 要 比 上 次 迭代 提高 30%， 这 
决定 了 性 能 测试 验证 的 具体 指标 值 。 





项 目 范围 : 在 敏捷 开发 中 ， 每 次 迭代 的 目标 是 产生 一 个 可 交付 的 软 
件 ， 但 不 一 定 每 次 迭代 后 都 必须 交付 或 发 布 给 用 户 ， 很 多 团队 选择 
几 次 帮 代 及 布 一 次 。 每 个 要 发 布 的 版 本 及 其 中 每 次 友 代 的 用 户 故 事 
列表 束 构 成 了 项 目 范 围 ， 项 目 范 围 是 决定 测试 范围 的 关键 要 系 。 





进度 : 项 目 《〈 每 次 迭代 ) 开始 和 结束 日 期 ， 以 及 其 间 重 要 的 里 程 碑 
等 会 影响 测试 计划 的 制定 。 例 如 ， 在 每 次 达 代 中 ， 持 续 测 试 、 用 户 
故事 验收 训 试 及 后 续 的 端 到 端的 验收 测试 都 需要 参考 项 目 进 度 计 划 
来 制定 。 


。 可 用 的 资源 : 每 项 测试 活动 都 需要 资源 ， 而 资源 是 有 限 的 ， 清 楚 项 
目的 预算 和 资源 ， 包 括 可 用 的 人 员 、 工 上 共和 环境 等 ， 对 测试 人 员 的 
安排 、 测 试 环境 的 准备 是 有 必要 的 。 


。 项 目 类 型 : 项 目 是 长 期 性 的 产品 开发 还 是 一 次 性 项 目 ? 项目 是 独立 
项 目 还 是 多 方 合作 的 综合 性 集成 项 目 ? 与 合作 方 的 合作 方式 是 什 
么 ? 项 目 是 本 地 项 目 还 是 外 包 项 目 ? 





。 研发 团队 : 是 指 研发 团队 的 人 员 数 量 及 技术 水 平 。 开 及 人 员 、 测 试 
人 人员、 业务 分 析 人 员 的 相关 经 验 如 何 ? 单元 测试 是 否 充分 ? 代码 评 
审 效 果 以 往 表现 如 何 ? 这 些 对 测试 朱 略 、 测 试 工作 量 都 有 较 大 影 

啊 。 











。 开 发 工具 和 编程 语言 ， 开 发 工具 使 用 哪 一 款 ? 对 于 不 同 的 编程 语 
言 ， 使 用 其 中 一 种 还 是 多 种 编程 语言 组 合 使 用 ? 开发 工具 和 编程 语 
言 的 选择 对 测试 环境 搭建、 自动 化 测试 实施 等 也 有 影响 。 

































使 用 什么 开发 环境 ? 使 用 编程 测试 目标 建立 在 项 目 目标 
语言 中 的 一 种 还 是 多 种 ? 开发 工具 和 基础 之 上 

编程 语言 
开发 人 员 、 测 试 人 员 、 业 务 分 析 要 交付 的 软件 版 本 、 文 档 








人 员 的 技能 、 经 验 、 素 质 ? 开展 


哪些 敏捷 测试 优秀 实践 ? 
了 哪些 敏捷 测试 优秀 实 研发 团队 


项 目 是 长 期 性 产品 开发 还 是 一 次 
性 项 目 ? 项 目 是 本 地 项 目 还 是 外 
包 项 目 ? 多 方 合作 项 目的 合作 方 
式 是 什么 ? 


每 次 迭代 、 每 个 要 发 布 的 
版 本 的 具体 质量 要 求 








要 发 布 的 版 本 及 每 次 迭代 
要 完成 的 用 户 故 事 列表 











项 目 类 型 
项 目的 迭代 计划 、 开 始 日 期 和 


项 目的 预算 和 可 用 的 人 员 、 结束 日 期 ， 以 及 产品 的 发 布 日 
期 等 


工具 、 环 境 等 (可 用 的 资源 ] E33 


图 6-4 上 下 文中 的 项 目 背景 

















6.1.4 ”产品 元 素 


产品 就 是 我 们 的 测试 对 象 ， 自 然 要 更 加 受 关 注 。 项 目 一 旦 启动 ， 测 


试 就 要 尽早 介入 ， 了 解 产品 需求 ， 了 解 产品 的 架构 设计 、 界 面 设计 、 可 


用 性 


设计 和 安全 性 设计 等 ， 并 参与 相关 评审 ， 通 过 这 些 活 动 ， 能 够 更 好 


地 掌握 被 测 系统 。 


为 了 更 好 地 分 析 被 测 对 象 ， 我 们 可 以 从 以 下 几 个 方面 进行 分 析 ， 如 


图 6-5 所 示 。 





结构 : 软件 系统 的 结构 体现 在 层次 性 、 组 件 化 和 接口 标准 化 等 。 基 
于 这 些 信息 ， 能 够 考虑 是 否 可 以 进行 分 层 测试 、 面 向 接口 进行 测 
试 ， 以 及 如 何 构 建 Mock 对 象 等 。 


功能 : 产品 的 业务 需求 是 通过 软件 功能 承载 的 。 同 时 ， 还 需 
系统 功能 之 间 的 依赖 关系 、 功 能 之 间 的 交互 作用 等 ， 基 于 这 些 
昌 ， 我 们 才能 更 有 效 地 开展 功能 测试 以 及 功能 之 间 的 交互 测试 。 


数据 : 从 测试 覆盖 来 看 ， 可 以 分 为 两 部 分 ， 即 控制 流 和 数据 流 。 控 
制 演 体现 在 代码 逻辑 弛 冲 、 基 本 路 径 履 盖 和 业务 流程 覆盖 上 ， 而 数 
所 流 则 体现 在 业务 数据 的 输入 /输出 、 存 储 和 恢复 等 方面 的 履 刘 
上 。 一些 业务 规则 也 是 由 数据 构成 ， 甚 至 可 以 说 ， 整 个 计算 机 系统 
就 是 在 处 理 数 据 ， 因 此 ， 在 许多 时 候 ， 数 据 是 测试 研究 的 重要 对 
象 。 





平台 : 软件 运行 的 平台 ， 包 括 操作 系统 、 数 据 库 、 浏 览 嚣 、 虚 拟 
机 、 云 平台 及 平台 参数 的 组 合 ， 是 测试 环境 设置 、 兼 容 性 测试 重点 
考虑 的 因素 。 


。 操作 用户 的 行为 、 操 作 方式 ， 一 般 是 指 产品 提供 的 蜗 控 器 操作 、 
用 户 界 面 触 摸 操作 。 对 于 触 屏 设备 ， 是 指 手 指 的 触摸 方式 。 男 外 ， 
还 包括 弄 着 操作、 恢复 出 广 设置 操作 等 。 





。 时 间 : 在 测试 实时 应 用 系统 或 对 时 间 敏 感 的 应 用 系统 时 ， 如 在 线 视 
频 系 统 、 舱 入 式 系统 、 工 业 物 联网 等 ， 需 要 特别 关注 时 间 。 


对 时 间 敏 感 的 说 入 式 系统 、 实 时 












根据 软件 系统 的 层次 、 组 件 和 接口 
设计 进行 分 层 测试 、 组 件 测试 及 接 
应 用 系统 需要 关注 的 内 容 口 测试 













系统 的 功能 特性 承载 业务 需求 ， 根 据 
功能 ， 以 及 功能 之 间 的 依赖 关系 、 交 
互 作用 ， 计 划 系 统 功 能 测试 及 功能 交 
互 测试 

L123 
软件 运行 的 平台 ， 包 括 操作 系统 、 
数据 库 、 浏 览 器 、 虚 拟 机 、 云 平 
台 等 











数据 分 为 两 部 分 : 控制 流 和 数据 流 。 
黑 盒 测试 的 一 个 侧面 体现 了 数据 驱动 














图 6-5 上 下 文中 的 产品 元 素 


谷歌 还 有 对 产品 研究 的 一 个 模型 一 一 ACC， 即 特性 、 组 件 和 


。 特性 〈attributes) : 区 分 竞争 对 手 、 提 升 产 品质 量 的 表现 ， 如 快 、 
安全 、 稳 定 和 优雅 等 。 


组 件 (components) : 系统 构成 的 单元 等 ， 如 Google+ 的 个 人 信 
息 、 通 知 、 帖 子 、 评 论 和 照片 等 。 


能 力 (capabilities〉: 特定 组 件 要 满足 系统 特性 所 需要 的 能 力 ， 如 


在 线 购物 系统 需要 使 用 HTTPS 处 理 交 易 、 在 购物 车 里 添加 商品 、 显 
示 库 存 、 计 算 总 额 、 按 交易 量 排序 等 。 





6.2 ”如 何 培 养 目 己 的 业务 与 用 尸体 验 分 析 技 能 


上 文 介绍 了 敏捷 测试 思维 方式 中 的 上 下 文 驱 动 思维 ， 下 面 介绍 敏捷 
测试 思维 方式 中 的 用 户 思 维 ， 它 不 但 和 质量 因素 相关 ， 而 且 更 加 有 助 于 
测试 需求 分 析 和 用 户 体验 分 析 。 


6.2.1 用 户 思 维 


之 前 我 们 所 说 的 用 户 思 维 ， 束 是 一 切 从 用 户 角 搬出 发 ， 站 在 用 户 角 
度 去 思考 产品 的 功能 特性 ， 扮 演 用 户 角 色 进 行 测试 。 在 敏捷 中 ， 强 调 交 
付 价值 给 用 户 ， 这 种 价值 是 对 用 户 有 价值 ， 而 不 是 对 开发 人 人员、 测试 人 
员 等 有 价值 ， 则 需要 更 强 的 用 户 思维 。 因 此 ， 在 敏捷 中 ， 用 户 思 维 可 以 
定义 为 : 不 要 打造 更 好 的 产品 ， 而 要 打造 更 好 的 用 户 ， 即 由 原来 重点 天 
注 如 何 提升 产品 质量 转移 到 如 何 帮 助 用 户 完成 目标 ， 让 用 户 获 得 成 功 。 


这 与 思科 的 文化 非常 吻合 ， 因 为 思科 从 来 没有 提 过 “让 客户 满意 ”的 
口号 ， 而 是 帮助 客户 ， 让 客户 的 业务 获得 成 功 。 在 思科 员工 佩戴 的 工 卡 
上 ， 有 “客户 成 功 ”(CUSTOMER SUCCESS) 的 口号 ， 如 图 6-6 所 示 ， 
这 就 是 典型 的 用 户 思维 。 





CISCO SYSTEMS 








思科 文化 
(质量 团队 “> | 持续 改进 /调整 日 标 
非 技术 学 科 口 奉献 利润 ( 节俭 ) 口 | 。 回馈 /信任 /诚实 口 
团队 市 场 转型 天 天 
驱动 变化 授权 开放 交流 口 
客户 成 功 





图 6-6 ”思科 文化 


正如 山西 赛 拉 在 《用 户 思 维 +: 好 产品 让 用 户 为 自己 尖 叫 》 一 书 中 
揭示 的 有 点 残酷 的 事实 : 用 户 并 不 关心 你 是 谁 ， 能 做 什么 ， 他 们 只 关心 
目 己 看 起 来 怎么 样 ， 不 会 因为 真 的 喜欢 产品 而 说 喜欢 ， 而 是 因为 他 们 目 
己 喜 欢 。 而 茶 亚 产品 之 所 以 能 够 成 功 ， 也 只 有 一 个 原因 ， 那 就 是 它 成 丈 


了 用 户 (make users awesome) 。 





有 了 这 样 的 认 知 ， 用 户 思维 又 上 升 了 一 个 台阶 ， 即 更 关注 用 户 的 真 
实 愿 望 ， 会 主动 和 用 户 交 流 ， 聆 听 用 户 的 心声 ， 挖 掘 用 户 的 真实 需求 。 








在 实际 的 业务 需求 分 析 中 ， 要 完全 站 在 用 户 的 角度 去 看 问题 ， 从 用 
户 的 心情 出 发 ， 反 过 来 质疑 产品 。 我 们 可 以 扮演 用 户 的 角色 ， 进 入 角色 
所 处 的 整个 业务 操作 的 环境 中 ， 获 取 一 种 浸入 式 体验 ， 从 而 更 好 地 理解 
产品 的 应 用 场景 或 发 现 更 多 的 应 用 场景 。 


6.2.2 场景 是 测试 需求 的 灵魂 


美国 经 济 学 家 、 政 治学 家 、 认 知 科学 家 、1978 年 诺 贝 尔 经 济 学 奖 得 








主 、1975 年 图 灵 交 得 主 赫 伯 特 ' 西 蒙 曾 经 指出 ， 因 为 规律 是 从 共 体 的 场 
景 中 抽 离 并 综合 得 到 的 ， 所 以 还 原 或 运用 时 需要 结合 具体 的 、 即 时 的 场 


_ 恒 . 
Jo 

















测试 就 是 对 原来 抽象 的 业务 需求 的 一 种 还 原 ， 通 过 还 原来 验证 需 
求 。 因 此 ， 产 品 的 应 用 场景 是 测试 特别 关注 的 : 一 方面 是 上 文 提 到 的 用 
户 故 事 的 验收 标准 ， 需 要 场景 去 禾 曾 ， 则 尽 可 能 捕获 各 种 场景 上 覆 瘟 验 收 
标准 ;为 一 方面 是 后 面 将 会 谈 到 的 探索 式 测试 ， 需 要 有 想象 力 ， 在 测试 
设计 、 执 行 和 学 习 中 不 断 发 现 新 的 场景 ， 这 样 才能 更 好 地 完成 敏捷 测 
试 。 所 以 说 ， 场 景 是 敏捷 测试 需求 的 灵魂 。 





有 人 说 ,“ 场 ”是 时 间 和 空间 的 结合 。 任 何 行为 一 定 发 生 在 特定 的 空 
间 中 的 茶 一 个 瞬间 ， 时 空 组 合 产 生 许 多 美妙 的 上 下 文 ， 让 我 们 在 这 美妙 
的 时 空中 看 到 不 同 的 情景 ， 这 就 需要 我 们 和 用 户 有 心灵 的 沟通 ， 和 产品 
有 更 多 的 交互 ， 从 而 去 发 现场 景 。 在 发 现 新 的 场景 后 ， 也 会 产生 新 的 情 
绪 ， 会 促进 新 的 想象 空间 ， 从 而 会 发 现 更 多 的 场景 。 这 个 过 程 也 给 测试 
增加 了 不 少 乐趣 。 





有 一 个 例子 能 说 明 上 述 观点 。 有 段 时 间 ， 佳 能 公司 为 了 提高 佳能 相 
机 的 销量 ， 集 划 了 一 个 名 为 “感动 常 在 ”的 活动 : 征集 用 佳能 相机 拍摄 的 
那些 感人 瞬间 的 照片 ， 然 后 把 这 些 照片 拿 出 来 进行 市 场 宣传 。 佳 能 公司 
没有 直接 宣传 相机 ， 而 古 宣 传 无 数 个 美丽 或 富有 朝气 的 “你 ”。 购 买 相 机 
的 其 实 就 是 你 ， 你 是 用 户 ， 通 过 相机 来 塑造 更 好 的 你 。 














相机 再 美观 ， 也 是 为 了 塑造 拥有 它 的 用 户 ， 这 就 是 前 面 所 说 的 用 户 





思维 。 但 仅仅 拥有 用 户 思 维 还 不 够 ,还 需要 让 用 户 相 信 上 面 提 到 的 这 一 
扩 。 为 此 ， 佳 能 广泛 地 收集 照片 ， 从 而 友 现 那些 感人 至 深 的 场景 ， 如 运 
动 、 演 唱 、 户 外 活动 等 ， 因 为 只 有 这 些 真 实 的 场景 才 会 真正 感动 用 户 。 
如 果 能 感动 用 户 ， 那 么 他 们 就 会 很 自然 地 去 购买 相机 。 








基于 场景 的 测试 方法 ， 目 前 是 敏捷 测试 中 常用 的 方法 ， 包 括 事件 
流 、 状 态 树 等 方法 。 它 们 都 和 场景 有 关 ， 我 们 会 在 后 面 的 革 市 中 详细 讨 
论 这 些 方 法 。 测 试 中 生动 的 场景 ， 不 但 涉及 不 同 的 环境 ， 同 一 种 环境 的 
不 同 配置 和 配置 组 合 ， 而 且 包括 前 置 条 件 、 后 置 条 件 、 异 常 操作 、 异 名 
数据 的 输入 /输出 等 。 











6.2.3 ”业务 分 析 


需求 不 能 简单 地 被 看 作用 户 需 求 ， 而 是 要 将 其 分 为 3 个 层次 ， 具 体 
如 下 。 
业务 需求 : 为 满足 各 种 业务 目标 而 对 业务 实际 运行 、 操 作 的 要 求 ， 
是 业务 分 析 的 主要 对 象 ， 也 是 软件 系统 必须 满足 的 、 最 基本 的 要 
求 ， 


用 户 / 利 益 相 关 者 需求 : 用 户 / 利 益 相 关 者 部 是 服务 于 业务 的 ， 他 们 
在 业务 中 扮演 着 不 同 角色 ， 发 挥 不 同 的 作用 ， 自 然 对 软件 系统 有 着 
各 自 特 定 的 需求 ， 就 像 前 面 Epic、 用 户 故 事 、 场 景 所 描述 的 。 








系统 功能 和 非 功能 性 需求 : 为 了 满足 上 述 两 层 需求 而 要 求 软 件 系 统 


所 具备 的 特性 。 


针对 业务 需求 ， 我 们 要 厘清 业务 角色 、 业 务实 体 、 业 务 活 动 、 业 务 
流程 ， 以 及 它们 之 间 的 关系 ， 如 图 6-7 所 示 。 但 业务 涉及 的 内 容 ， 不 局 
限于 这 些 ， 还 包括 业务 规则 、 业 务 操 作 、 业 务 数据 、 业 务 安全 性 、 业 务 
可 管理 性 和 业务 发 展 等 。 业 务 分 析 的 核心 还 是 业务 实体 关系 图 和 业务 流 
程 图 ， 前 者 更 有 利于 弄 清楚 业务 数据 ， 而 后 者 有 利于 和 弄 清楚 业务 活动 、 
业务 角色 ， 以 及 它们 之 间 的 关系 。 进 行业 务 分 机， 一 定 要 男 出 业务 流程 
图 ， 业 务 角 色 、 业 务 活动 和 业务 规则 等 也 会 慢 慢 展现 出 来 。 业 务 规则 需 
要 细致 地 进行 梳理 ， 从 而 进一步 完善 业务 流程 (往往 会 增加 一 些 业 务 流 
程 的 分 支 》。 业 务 流程 图 和 业务 规则 的 完善 是 相互 促进 的 过 程 。 











<<USe>> 
自 业务 角色 
目 业务 实体 |- -zssss | 目 业务 实体 关系 图 | 
目 业 务 活动 





<<USe>>> 


了 
MY 
目 业 多 活动 | -sss 上 睛 业务 流程 活动 图 





针对 用 户 需 求 ， 我 们 还 可 以 进行 下 列 分 析 工 作 。 


。 用 户 细 分 。 不 同 的 用 户 群 有 不 同 的 需求 ， 创 建 细 分 用 户 群 (即将 具 
有 茶 些 共同 关键 特征 或 者 共同 需求 的 用 户 划 分 成 组 ) 更 加 能 够 揭示 
用 户 的 真实 需求 。 不 同 用 户 群 的 需求 也 有 可 能 是 彼此 矛盾 的 ， 在 使 








用 相同 功能 时 ， 需 要 考虑 让 不 同 的 用 户 群 选择 不 同 的 操作 方式 。 


。 可 用 性 和 用 户 研究 ， 包 括 通 过 问卷 调查 、 卡 片 排序 法 、 焦 点 小 组 、 
任务 分 析 、 用 户 测试 等 方法 /工具 来 获取 用 户 信 息 、 了 解 用 户 行为 


等 。 





。 创建 人 物 角 色 。 基 于 上 面 的 用 户 研 究 ， 从 中 提取 出 可 成 为 一 些 典型 
的 虚拟 人 物 ， 从 而 更 好 地 展现 用 户 使 用 产品 的 场景 。 





6.2.4 ”用 户 体 验 要 素 


基于 用 户 思 维 ， 设 里 处 地 地 为 用 户 着 想 ， 不 断 挖掘 用 户 的 需求 和 期 
望 ， 以 及 产品 的 应 用 场景 ， 这 些 是 敏捷 测试 人 员 应 上 其 备 的 基本 素质 。 在 
此 基础 上 ， 要 做 到 真正 更 好 地 运用 用 户 思维 ， 洞 察 业 务 需 求 及 其 应 用 场 
景 ， 审 视 产 品 的 各 个 维度 ， 判 断 其 是 否 符合 用 户 的 需求 ， 则 需要 培养 对 
用 户 体验 的 感性 认识 和 专业 理解 。 














感性 认识 通 种 通过 平时 多 观察 ， 并 与 用 户 经 冲 沟 通 而 获得 。 这 里 侧 
重 讨论 专业 理解 。 根 据 相 关 研 究 ， 影 响 用 户 体 验 的 额外 两 个 因 系 是 内 容 
和 技术 ， 其 中 内 容 要 符合 用 户 的 实际 需求 和 偶 好 等 ， 而 技术 从 性 能 、 稳 
定性 和 功 耗 等 多 个 方面 来 提供 对 用 户 体验 的 保障 措施 ， 以 确保 用 户 能 够 
流畅 、 稳 定 地 使 用 产品 。 


为 了 更 好 地 分 析 用 户 体验 ， 我 们 可 以 进行 分 层 研究 。《 用 户 体验 要 
素 : 以 用 户 为 中 心 的 产品 设计 》 一 书 中 介绍 了 “五 层 模 型 ”。 


1) 表现 层 ， 所 呈现 的 具体 细节 ， 用 户 感知 体验 主要 来 源 于 这 一 
层 。 


2) 框 染 层 ， 信 息 设 计 、 界 面 设计 或 空间 布局 ， 确 定 了 在 UI 交互 界 
面 上 交互 元 素 的 位 置 和 排列 方式 ， 允 许 用 户 以 不 同 的 方式 浏览 ， 并 帮助 
用 户 理解 及 使 用 。 


3) 结构 层 ， 确 定 元 系 之 间 的 逻辑 关系， 包括 系统 各 种 特性 和 功能 
最 合适 的 组 合 方式 ， 例 如 用 户 如 何 到 达 茶 个 页 面 ， 以 及 处 理 完 去 哪里 。 
框架 是 结构 的 具体 表达 方式 ， 而 结构 层 则 用 来 设计 、 指 引用 户 如 何 到 达 
菏 个 特定 的 页 面 。 





4) 范围 层 ， 定 义 软件 的 需求 及 其 优先 级 ， 即 特性 和 功能 构成 了 系 
统 的 范围 屋 ， 包 括 创建 怎样 的 功能 规格 或 内 容 需 求 ， 以 及 具体 实现 哪些 


功能 。 


5) 战略 层 ， 实 现 产 品目 标 ， 关 注 并 考虑 如 何 满足 外 部 用 户 的 业务 
需求 ， 这 是 在 设计 用 户 体 验 过 程 中 做 出 每 一 个 决定 的 基础 。 产 品目 标 : 
我 们 要 通过 这 个 产品 得 到 什么 。 用 户 需 求 : 我 们 的 用 户 要 通过 这 个 产品 
得 到 什么 。 


在 进行 用 户 体 验 分 析 时 ， 还 需要 从 用 户 角 度 来 理解 “交互 组 件 将 怎 
样 工 作 ”。 这 时 需要 建立 人 们 熟悉 的 概念 模型 ， 并 审视 软件 使 用 方式 与 
现实 经 验 是 否 一 致 、 区 互 方式 在 整个 系统 中 是 人 否 保持 一 致 。 为 了 预防 错 
误 出 现 ， 如 银行 系统 ， 用 户 能 输入 的 东西 很 少 ， 大 部 分 是 选择 ， 即 将 系 
统 的 操作 方式 设计 成 不 容易 或 不 可 能 犯错 的 方式 。 如 果 出 错 ， 那 么 系统 








能 帮助 用 户 找 出 错误 并 提示 改正 ， 如 提示 比较 恰当 、 显 壮 ， 并 能 癌 用 户 
提供 从 操作 失误 中 恢复 的 方式 。 





系统 结构 包括 层级 结构 、 和 矩阵 结构 和 线性 结构 等 。 系 统 结构 的 关键 
征 结构 要 合理 ， 无 论 是 目 上 而 下 还 是 目下 而 上 ， 逻 辑 要 清晰 ， 让 用 户 可 
以 更 有 效 地 进行 操作 。 





除 这 些 要 素 以 外 ， 还 有 下 列 一 些 注意 事项 。 


1) 成 功 的 界面 设计 可 以 让 用 户 一 眼 就 发 现 “ 最 重要 的 东西 >， 如 通 
过 对 比 把 用 户 的 注意 力 吸 引 到 重要 的 部 分 。 





2) 帮助 用 户 理 解 “ 他 们 在 哪里 “他 们 能 去 哪里 * 和 “ 哪 条 路 距离 目标 
更 近 ”， 如 借助 图 标 、 标 签 、 排 版 和 颜色 等 视觉 需要 进行 指引 。 








3) 每 个 操作 步 又 痢 是 合理 的 ， 当 前 步骤 要 自然 延续 上 一 个 步骤 中 
的 任务 。 





4) 杂乱 的 设计 会 导致 视觉 混乱 ， 因 此 要 体现 足够 的 兰 异 性 ， 让 用 
户 能 分 辨 出 茶 个 设计 选择 是 有 意 为 之 。 设 计 的 一 致 性 能 避免 用 户 出 现 困 
惑 和 焦虑 。 





5) 一 个 产品 的 标准 配色 方案 中 所 使 用 的 色彩 是 为 了 它们 在 一 起 工 
作 而 专门 挑选 出 来 的 ， 它 们 之 间 是 互补 而 不 冲突 的 。 








6) 不 要 使 用 非常 相似 但 又 不 完全 一 样 的 风格 ， 也 不 要 使 用 过 于 广 
泛 和 多 样 的 风格 ， 只 有 在 你 需要 传达 不 同 的 信息 时 才 使 用 不 同 的 风格 。 


7) 遵循 “使 用 用 户 语言 并且“ 保持 一 致 性 ”的 命名 原则 ， 同 时 尼 
免 “ 语 义 歧 义 或 者 不 解 ”。 








8) 提供 的 功能 和 内 容 越 多 ， 猜 测 就 变 得 越 不 可 靠 ， 总 有 一 部 分 用 
户 会 猜 错 的 ， 好 的 产品 经 理会 做 “减法 ”。 


想 要 成 为 用 户 体验 专家 ， 需 要 持续 不 断 地 与 用 户 交 流 ， 不 断 获得 用 
户 的 反 饶 ， 以 及 不 断 提 升 感性 和 理性 的 双重 认 知 。 


6.3 ”敏捷 测试 的 主要 风险 在 哪里 


测试 分 析 的 一 个 重要 任务 是 识别 测试 风险 并 在 测试 策略 中 给 出 应 对 
彰 施 。 在 通常 情况 下 ， 无 论 采 用 什么 方法 和 技术 ， 测 试 都 是 不 彻底 的 。 
首先 ， 测 试 是 不 可 能 穷尽 的 ， 测 试 不 能 做 到 对 业务 、 数 据 、 代 码 路 径 等 
全 方位 的 完全 履 盖 其次， 测试 的 时 间 极 其 有 限 ， 总 是 没有 足够 的 时 间 
完成 所 需 的 测试 ， 这 一 点 在 敏捷 测试 中 尤其 突出 。 











因此 ， 我 们 不 能 保证 经 过 测试 的 、 交 付 的 软件 版 本 不 存在 任何 缺 
陷 。 这 就 意味 着 软件 测试 总 是 有 风险 的 ， 基 于 风险 的 测试 策略 是 不 可 或 
缺 的。 因此 ， 软 件 测试 风险 的 分 析 和 控制 就 变 得 非常 重要 。 在 软件 测试 
风险 中 ， 我 们 更 加 关注 产品 质量 风险 ， 即 由 于 测试 的 深度 或 广度 不 够 ， 
从 而 导致 出 现 遗 漏 缺 陷 的 情况 。 测 试 风险 管理 包括 测试 风险 的 识别 、 分 
析 和 控制 ， 如 图 6-8 所 示 。 





风险 分 析 


。 发 生 的 概率 
。 产生 的 原因 
。 带 来 的 影响 













措施 消除 风险 
e 不 可 避免 的 风险 : 制 
定 防 范 措 施 ， 缓 解 风 
险 或 转移 风险 


风险 控制 


e 测试 需求 、 设 计 和 执 
行 过 程 中 的 各 种 风险 


| 





风险 识别 





图 6-8 测试 风险 管理 
相 比 传统 的 软件 测试 ， 加 之 我 们 处 在 VUCA 时 代 ， 敏 捷 测试 要 面临 


更 大 的 挑战 。 测 试 风险 主要 来 自 4 个 方面 :需求 不 清晰 、 需 求 频 或 变 
更 、 时 间 太 紧张 及 自动 化 测试 的 有 效 性 。 


6.3.1 需求 不 清晰 
在 第 5 章 中 ， 我 们 一 直 在 强调 产品 需求 分 析 过 程 的 重要 性 ， 也 介绍 


了 很 多 适合 敏捷 模式 的 工具 以 及 优秀 实践 ， 以 实现 需求 从 产品 价值 、 商 
业 目 标 到 实例 化 需求 的 落地 过 程 ， 如 图 6-9 所 示 。 
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图 6-9 敏捷 开发 中 的 需求 管理 工具 





如 果 你 的 团队 这 样 去 做 或 者 在 进行 类 似 的 优秀 实践 ， 那 么 需求 问题 


之 来 的 测试 风险 目 然 会 在 很 大 程度 上 降低 。 但 现实 与 理想 总 是 有 很 大 的 
距离 。 敏 捷 项 目 周 期 短 ， 因 而 留 给 团队 沟通 和 澄清 需求 的 时 间 少 。 造 成 
需求 不 清晰 的 因素 包括 项 目的 复杂 程度 、 人 员 的 素质 和 经 验 、 团 队 的 沟 
通 和 协作 ， 以 及 流程 。 常 见 的 问题 如 下 。 











敏捷 团队 在 需求 沟通 、 协 作 和 管理 方面 做 得 不 好 ， 对 于 业务 需求 的 
整体 理解 会 有 偏差 ， 包括 为 什么 做 、 为 谁 做 、 做 什么 等 。 需 求 不 清 
晰 的 情况 包括 需求 不 完整 、 需 求 比 用 户 实际 需要 的 多 、 需 求 定 义 有 
错误 、 团 队 成 员 理 解 不 一 致 ， 以 及 优先 级 定义 有 误 等 。 











负责 软件 测试 的 人 员 没 有 充分 参与 到 需求 的 沟通 和 协作 过 程 中 ， 对 
需求 不 了 解 。 








用 户 故 事 中 没有 定义 清晰 的 验收 标准 。 


需求 不 清晰 造成 的 测试 风险 还 是 很 严重 的 :在 设计 合理 性 和 bug 确 








认 方 面 造成 困难 ; 有 很 大 可 能 会 漏 挥 真正 对 客户 有 重大 影响 的 缺陷 ;， 如 
果 因 为 需求 错误 而 导致 产品 的 茶 些 功能 特性 需要 重新 设计 和 实现 ， 则 测 
试 相 关 的 活动 也 要 返工 ， 进 而 造成 巨大 的 浪费 和 对 项 目 进度 的 巨大 影 


啊 。 


6.3.2 ”需求 频繁 变更 





相对 传统 的 开 友 模式 来 说 ， 敏 捷 开 友 在 应 对 需求 变更 方面 有 很 大 的 





优势 ， 因 为 其 采取 和 迭代 开发 的 方式 ， 每 次 交付 小 批量 的 功能 特性 。 在 
Scrum 模 式 下 ， 每 次 迭代 持续 2 ~ 4 周 ， 而 且 在 每 次 迭代 开始 之 前 ， 都 有 
机 会 重新 澄清 、 变 更 需求 ， 或 者 调整 需求 的 优先 级 。 尽 管 如 此 ， 需 求 频 
繁 变更 引起 的 测试 风险 还 是 比较 常见 。 需 求 变 更 相关 的 一 些 常见 的 风险 
hs 





。 在 开发 过 程 中 ， 紧 急 增 加 新 的 用 户 需求 ， 需 要 变更 用 户 故 事 列表 和 
优先 级 。 


。 在 线 上 版 本 发 现 重大 缺陷 需要 立刻 修复 时 ， 由 于 研发 团队 人 手 不 
够 ， 需 要 重新 讨论 符 办 事项 中 的 优先 级 。 

。 测试 人 员 没 有 参与 需求 变更 的 讨论 和 沟通 ， 测 试 执行 相关 的 测试 用 
例 失 败 时 才 发 现 原 来 需求 更 改 了 。 








。 开发 人 员 在 实现 用 户 故 事 时 ， 发 现 原 来 定义 的 用 户 场景 不 合理 或 者 
和 已 实现 的 其 他 功能 有 冲突 ， 则 擅 目 更 改 了 用 户 场景 但 没有 通知 测 
试 人 员 。 








需求 是 开发 和 测试 的 源头 ， 需 求 变 更 自然 会 导致 测试 计划 、 训 试 设 
计 和 工作 量 的 变化 ， 从 而 给 项 目 进度 或 者 产品 质量 带 来 风险 。 








6.3.3 ”时间 太 紧张 


很 多 人 认为 软件 测试 是 敏捷 开发 的 主要 瓶颈 。 软 件 训 试 确实 有 很 多 
方面 需要 持续 改进 以 适应 敏捷 的 需求 ， 如 通过 提高 测试 目 动 化 水 平 、 测 





试 左 移 、 探 索 式 测试 等 实践 让 测试 做 得 更 快 、 更 好 。 另 外 ， 在 敏捷 开发 
流程 中 ， 对 测试 的 考虑 比较 少 ， 可 能 是 因为 制定 流程 的 人 不 太 了 解 测 
试 ， 认 为 测试 比较 简单 或 者 任何 测试 都 可 以 用 自动 化 的 方式 来 完成 ， 因 
此 留 给 测试 的 时 间 少 之 又 少 。 











在 一 次 迭代 中 ， 软 件 测试 既 要 完成 用 户 故 事 的 验收 测试 ， 同 时 又 要 
编写 自动 化 测试 脚本 ， 还 要 为 下 一 次 达 代 的 测试 做 准备 ， 并 且 需 要 参加 
需求 评审 、 设 计 评审 等 活动 。 本 来 时 间 紧 、 任 务 重 ,如果 再 加 上 和 人手 不 
够 、 测 试 任务 安排 不 合理 、 目 动 化 测试 程度 低 等 因 系 ， 则 在 测试 范围 和 
测试 深度 上 肯定 会 大 打折 扣 ， 从 而 影响 软件 的 交付 质量 。 


6.3.4 ”上 自动 化 测试 的 有 效 性 


目 动 化 测试 的 有 效 性 与 研发 团队 想 通 过 自动 化 测试 达到 什么 目的 有 
关 。 不 过 在 敏捷 测试 里 ， 自 动 化 测试 的 目的 比较 明确 : 缩短 测试 反馈 所 
期 ， 提 高 持续 交付 局 质量 软件 的 能 力 。 自 动 化 测试 有 效 性 方面 的 挑战 主 
要 包括 以 下 几 扩 。 





高 度 的 测试 自动 化 目前 来 看 还 比较 理想 化 ， 落 地 实施 仍 面临 着 很 大 
挑战 。 研 发 团队 的 自动 化 水 平 普 遍 比 较 低 ， 根 据 调查 数据 显示 ， 只 
有 4% 的 团队 自动 化 测试 率 超过 了 90%。 


很 多 团队 没有 遵循 自动 化 测试 金字 塔 去 进行 合理 的 分 层 测 试 。 单 元 
测试 履 亩 率 低 ， 测 试 自 动 化 还 集中 在 UI 层 。 自 动 化 测试 友 现 缺陷 的 
能 力 比 较 弱 ， 大 部 分 缺陷 还 要 徘 手 工 测试 来 友 现 。 








。 软件 测试 基础 设施 建设 比较 薄弱 ， 没 有 实现 测试 自动 化 和 持续 集 
成 /持续 交付 环 场 的 集成 ， 也 没有 使 用 Cloud 和 容器 技术 ， 大 量 时 间 
花费 在 测试 环境 的 部 署 和 维护 上 。 


。 测试 用 例 集 缺 乏 维护 ， 很 多 测试 脚本 在 新 的 软件 版 本 上 可 能 已 经 失 
效 ， 但 是 没有 及 时 删除 或 更 新 ， 导 致 目 动 化 测试 不 能 发 现 有 效 的 缺 


陷 。 








。 目 动 化 测试 执行 时 间 过 长 ， 提 供 反 馈 的 速度 比较 慢 。 对 于 大 型 复杂 
的 软件 系统 ， 随 着 新 的 功能 特性 的 增加 ， 目 动 化 回归 训 试 的 用 例 集 
越 来 越 庞大 ， 执 行 一 次 全 回归 测试 的 时 间 也 越 来 越 长 。 


目 动 化 测试 水 平 低 、 发 现 的 缺陷 少 ， 手 工 测 试 的 工作 量 降 不 下 来 ， 
那么 测试 也 就 快 不 起 来 。 要 想 快 ， 只 能 缩小 测试 范围 ， 但 这 样 会 增加 质 
量 风险 。 


6.3.5 测试 风险 项 目 检查 表 





对 测试 风险 进行 识别 的 有 效 办 法 是 建立 测试 风险 项 目 检 查 表 ， 按 风 
险 内 容 进 行 逐 项 检查 ， 逐 个 确认 。 对 于 测试 的 风险 ， 可 以 给 出 如 表 6-1 
所 示 的 测试 风险 项 目 检查 表 。 





表 6-1 敏捷 软件 测试 风险 项 目 检查 表 

















。 不 清楚 产品 的 商业 目标 、 目 标 用 户 ， 以 






























































及 对 用 户 的 价值 。 
emanate 。 用 户 故 事 描述 不 清楚 ， 没 有 明确 的 验收 
i 楚 ， 在 开发 过 程 中 需求 变更 标准 。 
ee 频繁 影响 正常 欠 失 代 进度 e 企 和 决策 没有 测试 人 员 参 
。 需求 变更 后 测试 用 例 没有 及 时 和 更新、 加 
归 测 试 不 足 等 





试 、 快 速 反馈 的 需求 。 
自动 化 测试 发 现 缺陷 的 能 力 比 较 弱 





会 所 
5 





因 个 人 工作 下 忽 而 漏 掉 缺陷 :， 某 个 员工 生病 、 

员 | 测试 人 员 的 状态 、 责 任 感 离职 等 ， 造 成 资源 不 足 ， 使 测试 不 够 充分 或 缩 

念 | 行为 规范 等 小 了 测试 范围 ;开发 和 测试 比例 不 合理 ， 测 试 
资源 不 足 























在 多 数 情况 下 ， 测 斌 环境 是 
| 一 个 模拟 环境 ， 很 难 和 实际 ”数据 量 、 运 行 环境 的 “垃圾 ”数据 
运行 环境 一 致 














很 难 完成 100% 的 测试 覆盖 
率 ， 有 些 边 界 范围 容易 被 忽 
视 








测试 很 难 履 盖 模 块 之 间接 口 参数 的 传递 、 成 干 
上 万 的 操作 组 合 等 


测试 | 对 于 系统 容量 、 可 靠 性 等 ， | 对 互联 网 上 的 应 用 ， 以 及 操作 行为 和 习惯 等 研 
深度 | 测试 深度 不 够 究 不 够 ， 测 试 时 达 不 到 实际 的 用 户 数 








借助 一 些 测试 技术 完成 测试 
测试 | 任务 ， 可 能 有 些 测试 技术 不 ”| 如 正 交 实验 法 在 软件 测试 中 应 用 时 ， 很 难 达到 
技术 | 够 完善 有些 测试 技术 存在 ”| 其 规定 的 条 件 


一 定 的 假定 ， 这 都 会 带 来 风 























测试 工具 经 常 是 模拟 手工 操 ”| 如 性 能 测试 工具 模拟 1000 个 并 发 用 户 同时 向 服 
作 ， 模 拟 软件 运行 的 状态 变 ”| 务 器 发 送 请 求 ， 这 些 请 求 从 一 个 客户 端 发 出 。 

















化 、 数 据 传递 ， 但 可 能 与 实 ”| 而 在 实际 运行 环境 中 ， 这 1000 个 用 户 可 能 从 不 





际 的 操作 、 状 态 和 数据 传递 “| 同 的 地 方 、 不 同 的 机 器 发 出 请 求 ， 请 求 的 数据 
等 存在 差异 也 不 同 























6.3.6 ”风险 控制 


在 测试 风险 分 析 中 ， 逐 项 检查 ， 确 认 风 险 之 后 ， 要 找 出 对 全 ， 以 避 
免 风 险 产 生 或 降低 风险 所 带 来 的 影响 。 表 6-2 给 出 了 敏捷 测试 中 常见 的 
风险 ， 风 险 发 生 的 可 能 性 ， 对 测试 的 影响 及 影 啊 程度 ， 以 及 相应 的 控制 


音 施 。 











表 6-2 敏捷 软件 测试 风险 类 别 和 控制 措施 





潜在 的 影响 
































和 用 户 充分 沟通 ， 做 好 研发 团队 内 部 
需求 不 清晰 、 变 更 导致 | ”| 导致 测试 计 | 较 | 及 外 部 的 需求 沟通 和 协作 ， 引 入 适合 
敏捷 模式 的 需求 分 析 和 



































测试 需求 及 范围 发 生变 | 高 | 划 、 工 作 量 | 严 |ATDD/BDD， 以 及 实例 化 需求 等 优 


























化 等 发 生变 化 | 重 | 秀 实践 ， 加 强 需 求 评审 ， 调 整 测试 策 
略 和 计划 





en 。 制定 合理 的 测试 计划 。 
测试 不 充 。 | ,| ”。 合 理 安排 测试 活动 ， 如 采用 控 
测试 时 间 不 足 导致 测试 | 、 | 分， 遗漏 对 “|. 索 式 测试 ， 先 进行 手工 验证 再 
范围 缩小 用 户 有 重大 实现 测试 自动 化 。 
影 响 的 缺陷 ® 优化 测试 范 》 提高 测试 目 动 
化 履 盖 率 






























































自动 化 测试 率 低 ， 主 要 
依靠 手工 测试 ， 为 了 不 
影响 项 目 进 度 ， 缩 小 了 
测试 范围 ， 导 致 产品 的 
质量 风险 增加 


测试 不 充 
分 ， 遗 漏 对 ”| 严 | 对 测试 自动 化 进行 合理 的 分 层 测试 ， 
用 户 有 重大 提高 单元 测试 和 接口 测试 的 履 盖 率 
影响 的 缺陷 



















































































| 。 自 动 化 并 行 测试 和 精准 测试 ， 








反馈 时 1 快速 发 现 新 的 功能 对 已 有 功能 


上 旺 / 
影响 项 | 上 影响 。 


如 十 几 小 时 才 完 成 一 轮 
学 ” 尿 / 
完整 的 回归 测试 日 进度 。 及 时 维护 自动 化 测试 用 例 集 











测试 效率 低 

会 影响 测试 

的 充分 性 ， 在 持续 集成 /持续 交付 环境 中 实现 自 
遗漏 对 用 户 | 般 | 动 部 署 和 维护 

有 重大 影响 

的 缺陷 


维护 ， 测 试 效率 低 且 









































bug 太 多 » 问 























由 于 代码 评审 、 代 码 静 题 严 重 ， 反 | 严 | 提高 编码 人 员 的 编码 水 平 ， 进 行 代码 
态 测试 和 单元 测试 不 ”| 中 | 复 测 试 的 次 | 重 | 评审 、 代 码 静 态 测试 、 单 元 测试 
够 ， 导 致 开发 代码 质量 数 多 ， 工 作 

低 量 大 









































测试 风险 的 控制 方法 如 下 。 





根据 风险 发 生 的 概率 和 带 来 的 影 啊 确定 风险 的 优先 级 ， 然 后 采取 措 
施 避 免 那 些 可 以 避免 的 风险 。 假 如 测试 环境 不 对 ， 可 以 事先 列 出 要 
检查 的 所 有 条 目 ， 在 测试 环境 设置 好 后 ， 由 其 他 人 员 和 针对 所 列 条 目 
进行 逐条 检查 。 





转移 风险 。 有 些 风险 带 来 的 后 果 可 能 非常 严重 ， 可 以 通过 一 些 方法 
将 它们 转化 为 不 会 引起 严重 后 果 的 低 风 险 。 例 如 产品 发 布 前 ， 发 现 
菏 个 不 是 很 重要 的 新 功能 给 原 有 的 功能 融 来 了 一 个 严重 的 bug， 此 
时 处 理 这 个 pug 所 这 来 的 风险 就 很 大 ， 对 人 策 是 去 邱 那 个 新 功能 ， 转 


移 这 个 风险 。 





有 些 风险 不 可 避免 ， 束 设法 降低 风险 程度 。 例 如 , “程序 中 未 发 现 
的 缺陷 ?造成 的 潜在 风险 总 是 存在 ， 此 时 就 要 通过 提高 测试 用 例 的 
履 兰 率 来 降低 这 种 风险 。 





为 了 避免 、 转 移 或 降低 风险 ， 事 先 要 做 好 风险 管理 计划 ， 例 如 ， 把 
一 些 环节 或 边界 上 有 变化 、 难 以 控制 的 因素 列 入 风险 管理 计划 中 。 


。 对 于 风险 的 处 理 ， 还 要 制定 一 些 应 急 的 、 有 效 的 处 理 方案 。 例 如 ， 





为 每 个 关键 岗位 的 技术 人 员 塔 养 后 备 人 员 ， 做 好 人 员 流动 的 准备 。 


。 对 于 计划 的 制定 ， 在 估算 人 力 资 源 、 时 间 和 预算 等 时 要 留 有 余地 。 


6.4 ”局 友 式 测试 集 略 与 测试 东 略 的 制定 





上 文 讨论 了 敏捷 测试 的 风险 ， 有 风险 就 会 有 应 对 措施 ， 在 这 些 措施 
中 ， 蕴 售 着 测试 策略 。 有 个 比较 激进 的 说 法 认为 没有 测试 风险 ， 就 不 需 
要 测试 策略 。 但 实际 情况 是 ， 风 险 总 是 存在 ， 而 且 在 敏捷 开发 模式 中 ， 
测试 风险 更 严重 ， 如 需求 、 时 间 、 自 动 化 测试 方面 的 风险 ， 因 此 更 加 需 
要 测试 策略 。 





6.4.1 什么 是 测试 策略 


有 一 定 汕 试 工 作 经 验 的 人 ， 可 能 会 谈 到 测试 策略 ， 但 如 果 让 他 解释 
什么 是 测试 策略 ， 往 往 解 释 不 清楚 。 为 此 ， 我 兽 经 还 写 过 一 篇 文章 《 完 
竟 什 么 是 测试 策略 》， 以 帮助 测试 人 员 理 解 什 么 是 测试 策略 。 测 试 策略 
在 维基 百科 上 的 解释 : 测试 集 略 是 软件 研发 过 程 中 所 有 测试 方法 的 概 
述 ， 其 目的 是 提供 从 组 织 的 高 层 目 标 到 实际 测试 活动 的 合理 推论 ， 以 实 
现 质 量 保 证 这 方面 相关 的 目标 。 看 到 这 个 解释 ， 可 能 有 些 读者 还 是 不 能 
完全 理解 什么 是 测试 策略 。 下 面 给 出 笔者 对 于 测试 打上 略 的 解释 软件 测 
试 策略 就 是 在 测试 质量 和 测试 效率 之 间 的 一 种 平衡 艺术 ， 即 制定 或 选 
择 更 合适 、 更 有 效 的 测试 方式 、 测 试 方法 和 技术 等 ， 其 目的 是 以 最 低 
的 时 间或 人 为 成 本 最 大 程度 地 揭示 产品 的 质量 风险 、 尽 快 完成 测试 





《 即 达 到 特定 的 测试 目标 ) 等 。 


汕 试 策略 体现 在 测评 方式、 测试 方 法 和 测试 过 程 的 条 划 上 ， 并 基于 
这 些 因素 做 出 决定 。 





。 测试 方式 。 包 括 : 手工 方式 与 自动 化 方式 、 主 动 方 式 与 补 动 方式 ， 
以 及 静态 方式 与 动态 方式 等 的 选择 与 平衡 ， 探 索 式 测试 与 基于 脚本 
的 测试 ， 团 队 上 自己 测 试 与 众 测 、 外 包 等 的 平衡 。 








。 测试 方法 。 包 括 黑 盒 测试 与 日 盒 测 试 ， 基 于 数据 流 的 方法 与 基于 控 
制 流 的 方法 ， 完 全 组 合 测 试 方法 与 组 合 优 化 测试 方法 ， 以 及 错误 猜 
测 方 法 与 形式 化 方法 等 的 平衡 。 





。 测试 过 程 。 先 测 什么 ， 后 测 什么 ， 以 及 对 测试 阶段 的 不 同 划 分 等 。 


目 动 化 测试 的 金字 塔 模型 其 实 就 是 指导 我 们 进行 自动 化 测试 所 洒 用 
的 正确 的 测试 策略 ， 尽 可 能 不 做 UI 层 目 动 化 测试 ， 而 应 该 把 更 多 的 精力 
放 在 单元 测试 和 接口 测试 上 ， 从 而 降低 自动 化 测试 脚本 的 开发 和 维护 的 
成 本 ， 提 高 测 斌 效率。 有时， 选择 合适 的 测试 方法 也 体现 了 测试 策略 。 
例如 ， 当 我 们 面 对 一 个 被 测 功 能 时 ， 它 涉及 了 很 多 个 参数 ， 而 这 些 参数 
又 是 相互 关联 的 ， 此 时 需要 进行 组 合 测 试 。 


例如 某 保 险 业 务 功能 ， 如 果 采 用 完全 组 合 测 试 ， 其 测试 用 例 数 蜗 达 
30 万 ， 即 使 采用 面向 接口 的 测试 ， 一 个 用 例 执行 时 间 为 0.1 秒 ， 那 么 也 
需要 3 万 秒 的 时 间 ， 相 当 于 8 个 多 小 时 。 这 在 敏捷 中 是 不 能 承受 的 ， 一 般 
需要 控制 在 半 小 时 之 内 就 能 得 到 测试 结果 的 反馈 。 这 时 采用 三 三 组 合 测 


斌 《如果 和 觉得 两 两 组 合 覆 盖 率 侦 低 的 话 ) ， 将 测试 用 例 数 降 到 1000 以 
内 ， 则 只 需要 100 秒 不 到 2 分 钟 〉 束 完成 了 测试 ， 从 而 极 大 地 提高 了 效 
率 ， 测 试 履 盖 率 却 只 是 略微 降低 了 一 些 。 


6.4.2 ”启发 式 测试 策略 模型 


在 敏捷 测试 中 ， 我 们 第 第 采用 局 发 式 测 试 集 略 模型 ， 如 图 6-2 所 
示 ， 它 是 启发 我 们 进行 策略 分 析 的 工具 ， 更 强调 如 何 更 好 地 适应 上 下 文 
的 变化 。 在 敏捷 开发 中 ， 上 下 文 变 化 是 正常 的 ， 不 变 是 不 存在 的 ， 这 对 
敏捷 测试 提出 了 更 大 的 挑战 。 那 么 我 们 如 何 更 好 地 适应 上 下 文 的 变化 ， 
采取 合适 的 测试 方式 、 测 试 方法 来 完成 测试 任务 呢 ? 











我 们 可 以 从 《孙子 兵法 》 中 获得 一 些 灵 感 ， 以 帮助 我 们 实施 上 下 文 
驱动 的 启发 式 测试 策略 。2012 年 ， 我 和 几 个 同事 合 著 了 《完美 测试 ， 软 
件 测试 系统 最 佳 实践 》 一 书 ， 其 中 一 章 就 讨论 了 如 何在 测试 中 应 用 孙子 
兵法 中 的 “三 十 六 计 ”， 我 们 引用 了 其 中 的 16 个 计策 ， 包 括 “ 欲 擒 故 
纵 ”“ 趁 火 打动 “连环 计 ”“ 顺 手 牵 羊 ”“ 偷 梁 换 柱 "无 中 生 有 "等 





局 肥 式 测试 策略 ， 则 是 根据 质量 标准 、 项 目 背 景 和 产品 元 素来 选择 
合适 的 测试 技术 ， 最 终 达 到 用 户 可 接受 的 质量 。 局 发 式 测试 集 略 涉及 质 
量 标准 、 项 目 背景 和 产品 元 素 3 个 方面 的 众多 的 影响 因素 ， 如 图 6-10 所 
示 《〈 篇 幅 有 限 ， 未 全 部 展开 ) 。 如 有 果 我 们 要 全 面 考虑 这 么 多 的 因素 ， 再 
制定 测试 策略 ， 则 需要 的 时 间 特 别 多 ， 效 率 不 高 ;如 采 不 考 夸 这 些 因 
素 ， 直 接任 感觉 来 制定 测试 策略 ， 那 么 过 程 很 不 科学 ， 也 无 法 产生 很 好 








的 效果 。 因 此 ， 启 发 式 测试 策略 虽然 能 够 被 普遍 使 用 ， 但 是 不 能 快速 、 
高 效 地 指导 具体 的 测试 工作 。 测 试 人 员 需 要 因地制宜 ， 才 能 发 挥 测 试 策 
略 的 威力 。 那 么 ， 如 何 快速 、 高 效 地 制定 测试 策略 呢 ? 
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图 6-10 James Bach 制 作 的 局 发 式 测试 策略 模型 


6.4.3 快速、 高 效 地 制定 测试 策略 


要 想 快速 、 高 效 地 制定 测试 策略 ， 雷 要 利用 思维 导 图 ， 因 为 思维 导 
图 不 但 能 够 灵活 、 快 速 、 方 便 地 增加 因素 或 想法 〈 其 实 是 节点 ) 、 调 整 
目 己 的 想法 〈 如 删 减 节点 ) ， 而 且 可 以 增加 标记 、 注 释 、 连 接 等 图 元 
《其 中 标记 可 以 突显 重要 的 元 素 ， 注 释 可 以 给 出 更 详细 的 信息 ， 连 接 可 
以 建立 元 素 之 间 的 关联 关系 〉。 








制定 测试 策略 的 过 程 是 向 自己 (团队 ) 提问 的 过 程 ， 是 自我 反思 、 
目 我 局 发 的 过 程 。 这 个 过 程 中 的 关键 是 会 提问 。 例 如 ， 我 们 快速 地 上 自问 
以 下 问题 。 











。 当前 项 目 重 点 需要 考虑 哪些 限制 因素 ? 


哪些 产品 元 素 与 当前 测试 任务 相关 ? 


系统 会 在 哪些 平台 上 运行 ? 会 产生 哪些 不 兼容 的 问题 ? 


针对 实时 性 ， 产 品 有 什么 风险 ? 可 能 会 有 什么 缺陷 ? 


通过 什么 测试 可 以 友 现 这 类 缺陷 ? 


采用 什么 样 的 测试 技术 可 以 更 快 地 测试 它们 ? 


哪些 因素 的 组 合 会 产生 新 的 风险 ? 


但 是 ， 此 过 程 没 必要 像 图 6-10 所 示 那 么 复 森 ， 一 般 也 不 能 使 用 通用 
模型 ， 那 么 我 们 就 必须 找到 适合 自己 的 局 发 式 测试 策略 模型 。 每 个 团队 
会 针对 特定 的 行业 《如 汽车 电子 、 金 融和 物流 等 ) 开发 特定 的 产品 ， 这 
样 束 决定 了 团队 所 面临 的 特定 质量 标准 、 特 定 行 业 背 景 、 特 定 产品 类 型 





等 。 对 于 质量 标准 、 项 目 背 景 和 产品 元 素 ， 茶 些 因素 是 不 需要 考虑 的 ， 
某 些 因 素 相对 固定 ， 可 能 只 有 少量 因素 是 动态 的 而 且 在 当前 项 目 中 比较 
特殊 ， 则 这 些 是 值得 我 们 特别 关注 的 。 














例如 ， 如 果 要 开发 某 个 车 载 系 统 〈 属 于 汽车 电子 行业 ) ， 则 需要 考 
虑 ISO 26262 标 准 。 而 且 由 于 涉及 典型 的 V2X 网 络 ， 因 此 不 仅 要 考虑 这 
种 网 络 的 安全 性 ， 还 要 考虑 实时 性 要 求 ， 包 括 时 间 同 步 等 方面 的 验证 。 
在 测试 技术 方面 ， 则 会 引入 网 络 接口 测试 工具 、 仿 真 技术 等 。 借 助 这 些 
测试 技术 ， 让 测试 不 依赖 于 硬件 〈 汽 车 ) ， 而 且 测 试 执 行 速度 会 更 快 ， 
可 以 罗 盖 更 多 的 噶 常 场景 。 





在 项 目 中 ， 也 要 特别 了 解 本 项 目的 进度 快慢 ， 以 及 处 在 哪个 阶段 。 
如 果 项 目 还 处 于 答 斌 阶段， 那么 不 会 直接 上 线 ， 对 安全 性 、 兼 容 性 等 质 
量 要求 会 低 一 些 。 在 产品 元 素 方面 ， 可 以 了 解 是 人 否 分 层 、 有 哪些 APL， 
以 及 API 文 档 定 义 是 否 已 完成 等 。 











这 样 我 们 就 可 以 完成 该 项 目 特有 的 启发 式 测 试 策略 模型 
(HTSM)〉， 如 图 6-11 所 示 。 









范围 是 否 明确 ? 
外 围 子 系统 有 哪些 ? 
寺 间 很 紧 吗 ? 











用 户 故事 的 验收 标准 
实时 性 TSN 有 具体 要 求 三 
© V2X 
ISO 26262 最 近 有 更 新 吗 
这 次 会 直接 上 线 吗 ? 
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图 6-11 ”定制 的 HTSM 示 意 


定制 HTSM 的 过 程 是 应 用 HTSM 的 过 程 ， 也 是 训练 我 们 的 系统 思 
维 、 创 造 性 思维 的 过 程 ， 经 过 不 断 思 考 、 启 发 、 再 思考 的 过 程 ， 快 速 地 
在 深度 和 广度 探索 ， 及 时 捕获 调整 上 下 文 因 素 、 风 险 ， 产 生 好 的 想法 。 
经 常 做 这 种 练习 ， 思 维 自 然 会 更 敏捷 ， 操 作 起 来 也 会 更 快 。 上 一 个 版 本 
定制 的 HTISM 也 可 以 直接 借用 ， 然 后 在 其 上 进行 调整 ， 实 现 测试 资产 的 
复 用 ， 这 样 测试 策略 的 制定 速度 是 不 是 更 快 些 ? 而 且 这 也 是 一 个 完善 、 
优化 的 过 程 ， 形 成 更 有 价值 的 测试 资产 。 














制定 测试 策略 还 有 一 种 方法 ， 即 事先 维护 上 面 所 说 的 测试 资产 之 一 
一 一 过 去 采用 过 的 或 所 有 已 知 的 各 项 测试 策略 (测试 方式 的 组 合 、 方 法 
的 运用 等 ) ， 标 识 或 说 明 各 项 测试 策略 的 应 用 场景 。 随 着 时 间 的 推进 ， 
虽然 它 也 需要 更 新 ， 即 删除 过 时 的 、 不 能 发 挥 作用 的 测试 方式 、 方 法 和 
技术 等 ， 添 加 新 的 、 更 有 效 的 测试 方式 、 方 法 和 技术 等 ， 但 是 对 一 个 团 
队 来 说 ， 只 要 维护 唯一 的 一 张 思 维 导 图 就 可 以 了 。 这 种 做 法 相对 稳定 ， 
而 且 在 制定 测试 策略 前 ， 它 基本 就 络 ， 如 图 6-12 所 示 。 然 后 ， 结 合 另 外 
一 张 思 维 导 图 ， 列 出 当前 这 个 项 目 所 过 到 的 困难 和 风险 ， 针 对 每 一 个 困 
难 或 风险 标 上 其 优先 级 ， 按 照 优 先 级 ， 快 速 地 逐 项 分 析 ， 下 在 如 图 6-12 
所 示 的 思维 导 图 中 找到 相对 应 的 测试 策略 ， 这 样 就 能 够 更 快 完成 测试 策 
略 的 制定 工作 。 








对 于 测试 泉 略 的 制定 ， 背 先 要 明确 测试 目标 ， 这 是 根本 。 测 试 目标 
包括 质量 标准 、 测 试 交 付 物 。 接 着 ， 分 析 各 个 测试 项 可 能 存在 的 风险 、 
阻碍 测试 目标 实现 的 问题 ， 了 解 之 前 重复 提 到 的 项 目 背 景 、 产 品 元 素 
结构 、 功 能 、 数 据 和 平台 等 ) 。 然 后 ， 根 据 各 测试 项 的 风险 优先 级 ， 





由 高 全 低 来 确定 合适 的 测试 沫 略 ， 包 括 选择 合适 的 测试 方法 、 技 术 和 工 
具 


ww 


如 果 所 选 的 测试 策略 之 间 存 在 冲突 ， 那 么 以 服从 测试 目标 为 宗旨 ， 
并 基于 风险 的 训 试 策略 为 敏捷 测试 的 根本 策略 ， 即 质量 风险 越 高 ， 其 策 
略 的 优先 级 就 越 高 。 有 效 的 测试 沫 略 就 是 指 在 有 限 的 资源 下 完成 给 定 的 
测试 任务 ， 其 中 可 能 会 舍弃 某 些 非常 低 或 较 低 优先 级 的 测试 任务 《〈 缩 小 
了 测试 范围 ， 增 加 了 一 些 测试 风险 )。 因 此 ， 我 们 需要 正确 取舍 ， 建 并 
合适 的 测试 策略， 以 在 测试 目标 和 测试 风险 之 间 达 到 最 佳 平衡 。 这 是 测 





试 策略 制定 过 程 中 的 基本 原则 。 
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图 6-12 ”测试 资产 ， 已 有 的 测试 策略 
6.5 “代码 依赖 性 分 析 与 精准 测试 


在 传统 的 开发 模式 中 ， 产 品 上 市 前 通 种 会 做 一 次 完整 的 回归 测试 。 


在 这 个 阶段 ， 由 于 担心 引入 重大 缺陷 ， 项 目 团队 会 严格 控制 代码 的 改 
动 。 这 种 全 量 的 回归 测试 的 工作 量 会 很 大 ， 而 且 其 中 有 一 部 分 测试 用 例 
的 执行 是 没 必要 的 ， 是 一 种 浪费 ， 这 是 因为 被 测试 的 部 分 没有 受到 影 
啊 。 如 果 在 测试 过 程 中 发 现 了 不 得 不 修复 的 缺陷 ， 那 么 在 代码 修改 后 残 
只 能 赁 测试 人 员 的 经 验 选取 有 限 数量 的 测试 用 例 来 做 针对 性 的 回归 测 
试 ， 此 时 如 果 选 取 很 少 的 测试 用 例 ， 风 险 就 比较 大 ， 而 且 缺 少 科 学 依 
据 。 











在 敏捷 开发 中 ， 没 有 很 长 的 时 间 留 给 回归 测试 。 因 此 在 每 一 次 欠 代 
中 ， 可 通过 持续 的 目 动 化 测试 进行 回归 测试 ， 即 面 癌 业务 的 系统 级 别 测 
试 。 使 用 上 自动 化 测试 的 好 处 之 一 就 是 可 以 加 大 回归 测试 的 频率 和 力度 。 
我 们 在 6.3 节 中 提 到 过 ， 敏 捷 测 试 的 主要 风险 是 自动 化 测试 的 有 效 性 ， 
包括 日 区 庞大 的 目 动 化 测试 用 例 集 维护 起 来 比较 困难 、 发 现 缺 陷 的 能 为 
弱 、 执 行 时 间 长 等 问题 。 例 如 ， 对 于 一 个 线 上 的 软件 系统 ， 研 发 团队 紧 
急 修 复 了 一 个 缺陷 ， 等 待 发 布 ， 此 时 却 需 要 进行 起 码 几 小 时 的 回归 测 
二 





那么 ， 如 何 提高 目 动 化 测试 的 有 效 性 ， 进 而 提高 敏捷 测试 的 效率 
呢 ? 精准 测试 技术 在 这 方面 提供 了 很 好 的 解决 方案 。 





6.5.1 ”精准 测试 


精准 测试 是 一 种 软件 测试 分 析 技 术 ， 借 助 算法 和 工具 ， 目 动 建 并 黑 
盒 测试 的 测试 用 例 和 软件 代码 之 间 的 可 视 化 退 滴 ， 同 时 分 析 代 码 依 赖 





人 


从 而 基于 影响 的 代码 ， 精 准 选择 受 影响 的 测试 (用 例 ) ， 以 最 大 程 


度 地 优化 要 执行 的 测试 范围 。 精 准 测 试 可 以 实现 的 功能 包括 : 统计 测试 
用 例 集 的 代码 覆盖 率 、 优 化 测试 范围 、 迅 速 定位 软件 缺陷 ， 以 及 分 析 和 
改进 软件 架构 设计 和 代码 结构 等 。 


精准 测试 的 基本 过 程 〈 实 现 的 原理 ): 


借助 代码 才 兰 率 分 析 技 术 ， 建 立 代 码 和 测试 用 例 的 映射 和 关系， 为 每 
一 个 测试 用 例 和 代码 的 方法 /代码 块 建立 对 应 关系 ; 


对 代码 进行 依赖 性 分 析 ， 了 解 代 码 中 的 类 、 方 法 和 代码 块 之 间 的 相 
互 关 联 或 调用 关系 ; 


拿 到 新 的 软件 版 本 ， 与 上 一 个 软件 版 本 进行 代码 差异 (code diff) 
的 比较 ， 确 定 哪些 代码 被 改动 了 ; 


基于 代码 和 测试 用 例 的 映射 关系 和 代码 依赖 关系 ， 确 定 受 影响 的 测 
试 ( 用 例 ); 


执行 受 影响 的 测试 “用 例 〉。 





当 茶 个 测试 用 例 开 始 执 行 时 ， 被 测 系统 被 驱动 运行 ， 程 友 内 部 代码 


执行 馆 辑 和 测试 数据 就 会 被 记录 并 同步 进行 计算 和 分 析 ， 然 后 我 们 就 可 
以 得 到 测试 用 例 和 代码 之 间 的 映射 关系 。 


基于 用 例 和 代码 之 间 的 映射 和 关系， 精准 测试 可 以 目 动 发 现 还 没有 被 


测试 用 例 窗 盖 的 代码 ， 提 醒 研发 人 员 补 充 新 的 测试 用 例 ; 当 杂 些 代码 友 





生 改 动 ， 精 准 测 试 可 以 目 动 筛选 出 需要 执行 的 回归 测试 用 例 。 这 就 是 精 
准 测 试 的 含义 :， 既 不 多 测 ， 也 不 少 测 ， 软件 实 现 了 什么 ， 就 测试 什么 ， 
修改 了 哪里 ， 就 测试 哪里 。 


精准 测试 可 以 实现 软件 缺陷 的 迅速 定位 。 对 于 黑 例 测试 中 发 现 的 缺 
陷 ， 测 试 人 员 一 般 会 提供 基于 业务 的 功能 性 描述 ， 然 后 配合 开发 人 员 重 
现 缺 陷 、 分 析 定 位 问题 。 在 此 过 程 中 ,往往 会 花费 很 多 时 间 才 能 定位 到 
引入 缺陷 的 代码 。 而 精准 测试 依据 的 是 测试 用 例 和 代码 之 间 的 映射 关 
系 ， 如 宋 测 试用 例 执 行 失 败 ， 那 么 可 以 退 调 到 可 疑 代 码 块 。 这 种 数据 化 
的 沟通 方式 可 以 有 效 地 提高 缺陷 定位 和 修复 的 效率 ， 从 而 提高 研发 团队 
的 工作 效率 。 








精准 训 试 则 在 提高 测试 效率 ， 是 对 现 有 的 黑 盒 测试 技术 的 补充 ， 在 
软件 测试 过 程 中 加 入 监听 ， 以 及 数据 收集 和 分 析 ， 可 以 配合 人 工 在 设计 
用 例 、 执 行 用 例 的 过 程 中 进行 数据 的 采集 、 计 算 和 分 析 ， 也 可 以 和 自动 
化 测试 系统 进行 对 接 。 精 准 测 试 对 于 缩短 目 动 化 测试 时 间 有 帮助 ， 对 手 
工 的 回归 测试 “虽然 在 敏捷 中 建议 用 目 动 化 方式 来 完成 ) ， 甚 至 探索 式 
测试 有 更 大 帮助 。 








6.5.2 ”如 何 建立 测试 用 例 和 代码 的 映射 关系 


精准 测试 的 核心 是 建立 测试 用 例 和 代码 之 间 的 映射 关系 ， 通 过 记录 
每 个 测试 用 例 在 执行 过 程 中 对 应 的 程序 内 部 的 执行 细节 ， 可 以 妃 踊 到 方 
法 或 代码 块 级 别 。 如 果 测 试 人 员 关 注 茶 个 方法 或 者 代码 块 ， 那 么 也 可 以 








追溯 测试 过 这 段 代 码 的 测试 用 例 ， 如 图 6-13 所 示 。 


正 向 追溯 





软件 代码 方法 列表 








测试 用 例 D 








图 6-13 ”测试 用 例 和 代码 的 双向 追溯 


通过 从 测试 用 例 到 代码 的 正 回 退 滴 ， 当 测试 用 例 在 执行 过 程 中 发 现 
软件 缺陷 时 ， 可 以 直接 定位 到 缺陷 所 在 的 代码 ， 包 括 系 统 测 试 中 难以 复 
现 的 缺陷 ， 因 此 可 以 帮助 开发 人 员 快 速 修复 缺陷 。 





通过 从 代码 到 测试 用 例 的 反 回 退 滴 ， 可 以 进行 软件 不 同 版 本 之 间 的 
代码 差异 化 分 析 ， 从 而 得 到 代码 修改 部 分 所 影响 的 测试 范围 ， 以 确定 回 
归 测 试 中 包含 的 测试 用 例 。 如 果 新 的 版 本 中 有 新 增 的 代码 ， 系 统 则 会 上 自 
动 提示 研发 人 员 补 充 新 的 测试 用 例 来 履 畜 。 


如 果 要 实现 测试 用 例 和 代码 的 关联 ， 那 么 需要 在 测试 用 例 执 行 时 获 
取 被 测试 应 用 在 代码 级 别 的 方法 调用 链 。 下 面 就 来 介绍 一 下 具体 的 实现 
技术 。 


6.5.3 ”代码 依赖 性 分 析 


代码 之 间 的 依赖 关系 是 比较 复 条 的 ， 当 执行 一 个 测试 用 例 时 ， 从 被 
测 系 统 的 代码 层次 来 看 ， 是 调用 了 一 系列 的 方法 。 软 件 代码 的 依赖 关系 
包括 : 





。 应 用 中 一 个 功能 模块 内 部 方法 之 间 的 直接 调用 、 参 数 传递 等 ; 
。 应 用 中 功能 模块 之 间 的 接口 调用 ， 包 括 同 步调 用 和 异步 调用 等 ; 


。 应 用 之 间 的 调用 和 依赖 关系 。 








在 一 个 应 用 内 部 获取 方法 之 间 的 调用 关系 时 ， 有 静态 分 析 方 法 和 动 
态 分 析 方 法 。 在 实践 中 ， 一 般 通 过 静态 分 析 方 法 和 动态 分 析 方 法 相 结 合 
的 方式 获得 更 为 完整 的 调用 关系 拓扑 图 。 





静态 分 析 方 法 是 指 在 不 运行 程序 时 通过 对 字 节 码 分 析 获 取 程 序 中 方 
法 之 则 的 调用 关系 ， 如 字 节 人 码 操 作 工 具 ASM 和 Javassist( 一 个 开源 的 分 
析 、 编 辑 和 创建 Java 字 节 码 的 类 库 )。 








动态 分 析 方 法 通过 程序 插 桩 的 方式 获取 方法 或 代码 块 的 依赖 关系 ， 
即 在 保证 被 测 系 统 原 有 逻辑 完整 性 的 基础 上 ， 在 程序 中 插入 批量 的 探 
针 ， 当 测试 用 例 驱 动 程序 运行 时 ， 通 过 探 针 抛 出 程序 运行 的 特征 数据 ， 
然后 对 这 些 数 据 进行 分 析 ， 从 而 可 以 获得 程序 的 控制 流 和 数据 流 信 息 ， 
包括 方法 调用 链 数 据 。 对 于 Java 应 用 ， 通 过 Java Agent (也 称 Java 探 针 ) 
以 字 节 码 注 入 的 方式 获取 程序 方法 级 别 的 调用 链 关 系 。 团 队 可 以 选择 上 自 











己 创 建 Java Agent 实 现 调用 链 分 析 功 能 ， 或 采用 开源 的 代码 调用 关系 获 
取 工 具 ， 如 java-callgraph。 


java-callgraph 文 持 两 种 方法 获取 代码 调用 关系 。javacg-static 文 持 静 
态 分 机 ， 从 JAR 文 件 中 读 取 类 ， 过 历 方 法 并 输出 方法 之 间 的 调用 关系 
表 。 这 种 方式 比较 简单 、 有 效 ， 但 会 遗漏 某 些 调用 关系 ， 如 反射 
Creflection) 调用 。 





javacg-dynamic 文 持 动态 分 析 ， 在 运行 Java 应 用 时 ， 通 过 运行 Java 
Agent 来 跟踪 类 、 方 法 之 间 的 调用 关系 ， 当 退出 JVM 时 ， 会 输出 调用 关 
系 表 。javacg-dynamic 利 用 javassist 在 方法 的 入 口 点 和 出 口 点 插入 探 针 以 
解析 其 所 有 的 依赖 类 。 动 态 分 析 方 法 可 以 获得 较为 精准 的 方法 调用 关 
系 ， 但 在 处 理 多 线程 程序 和 异常 处 理 方 面 还 不 够 完善 。 








对 于 应 用 之 间 的 调用 链 关 系 ， 目 前 有 一 些 成 熟 的 应 用 调用 链 退 踩 的 
开源 工具 ， 如 Pinpoint、SkyWwalking 等 。 以 Pinpoint 为 例 ， 它 用 于 大 型 分 
布 式 系统 的 全 链 路 监控 ， 可 以 获取 不 同 服务 之 间 、 服 务 与 数据 库 ， 以 及 
服务 内 部 的 方法 的 调用 关系 ， 还 可 以 监控 方法 调用 时 长 、 可 用 率 和 内 存 
等 。Pinpoint 不 需要 修改 服务 的 代码 即 可 加 载 Agent， 从 而 实现 无 侵入 式 
的 调用 链 采 集 。 其 核心 是 运用 JVM 的 Java Agent 字 节 码 增强 技术 ， 通 过 
在 被 测试 服务 的 启动 命令 中 添加 JVM 人 参数 来 指定 Pinpoint Agent 加 载 路 
任 s- 如 下 所 示 。 


-javaagent:/home1l/irteam/apps/pinpoint-agent/current/pinpoint-bootstrap-1. 
8.3.jar 


-Dpinpoint.applicationName=ApiGateway 
-Dpinpoint.agentId=apigw81 





下 面 是 来 自 Pinpoint 官 网 的 一 个 例子 ， 图 6-14 显 示 了 服务 
ApiGateway 在 一 次 调用 中 服务 之 间 的 调用 链 ， 以 及 与 数据 库 、 第 3 方 应 
用 的 调用 关系 。 图 6-15 显 示 了 服务 内 部 代码 级 别 的 调用 关系 ， 可 以 细 化 
到 方法 级 别 。 


1 


- 
PC) 1 | 1 
$2 Shopping-Payment vendor.payment 
3 card.com:8179 


USER ApiGateway Shopping-Api Shopping-Order WN 
MUSQL 


order 


图 6-14 ”分 布 式 系 统 服 务 之 间 的 调用 链 





图 6-15 ”代码 级 别 的 调用 链 


为 外 ， 精 准 测 试 技 术 可 以 帮助 研 友 人 员 理 解 并 优化 软件 染 构 设计 。 
软件 以 构 要 尽量 做 到 “高 内 聚 、 低 耘 合 ”， 如 图 6-16 所 示 ， 尽 量 把 相关 功 
能 内 聚 到 一 个 模块 ， 减 少 模块 之 间 的 关联 和 依赖 。 如 末代 码 之 间 的 依赖 
度 蝇 、 模 块 之 间 的 灯 合 性 强 ， 那 么 其 中 一 个 方法 的 改动 影响 的 方法 或 功 
能 模块 就 会 很 多 ， 这 样 不 但 给 单元 测试 造成 困难 ， 而 且 为 精准 测试 识别 
出 的 测试 影响 范围 也 会 很 大 ， 也 就 失去 了 精准 测试 的 意义 。 





精准 测试 技术 可 以 根据 收集 的 数据 建立 一 个 软件 系统 关系 图 并 且 以 





可 视 化 的 方式 呈现 出 来 ， 包 括 方 法 之 间 、 系 统 模块 之 间 和 外 部 系统 之 间 
的 调用 关系 ， 以 及 数据 库 。 研 用 人 员 可 以 清楚 地 了 解 代 码 之 间 的 依赖 关 
系 ， 并 据 此 进行 系统 架构 和 代码 结构 的 优化 ， 尽 量 降低 耘 合 度 。 














图 6-16 ”软件 系统 的 耦合 和 内 聚 
6.5.4 代码 的 变更 分 析 


实现 回归 测试 用 例 集 的 精准 选择 离 不 开 对 代码 进行 变更 分 析 ， 即 通 
过 新 的 软件 版 本 与 上 一 个 软件 版 本 的 对 比 ， 获 取 新 的 软件 版 本 中 有 哪些 
代码 变更 ， 然 后 根据 差异 选择 测试 用 例 或 补充 新 的 测试 用 例 。 代 码 分 析 
工具 (或 者 一 些 代码 版 本 管理 工具 自 帝 的 命令 ) 可 以 对 源 代码 进行 对 
比 ， 如 svn diff、git diff 等 ， 但 会 把 增加 的 注释 、 空 白字 符 、 空 行 等 与 业 
务 逻 辑 无 关 的 改动 认为 是 代码 变动 。 在 精准 测试 中 ， 可 以 通过 javaparser 
进行 语法 树 分 析 ， 获 取 每 个 方法 的 方法 体 ， 通 过 比较 新 的 代码 的 方法 体 
和 原来 代码 的 方法 体 得 知 哪些 方法 被 改动 了 。 








6.5.5 ”测试 用 例 集 如 何 优 化 


优化 黑 盒 训 试用 例 集 : 精准 测试 通过 代码 履 兰 率 的 统计 及 等 价 类 划 
分 功能 ， 目 动 发 现 测试 用 例 集中 的 元 余部 分 以 及 需要 补充 的 测试 用 例 。 
如 宁 两 个 测试 用 例 属于 同一 等 价 类 ， 那 么 其 中 一 个 测试 用 例 就 是 元 余 
的 ， 可 以 删除 。 对 于 有 大 量 脚 本 的 目 动 化 测试 集 ， 据 此 进行 优化 ， 从 而 
降低 对 目 动 化 用 例 的 维护 成 本 。 








对 应 的 精准 测试 过 程 如 图 6-17 所 示 。 弟 先 执 行 每 个 自动 化 测试 用 
例 ， 通 过 代码 依赖 性 分 析 获 取 测 试用 例 和 方法 之 间 的 映射 关系 ， 以 及 方 
法 之 间 的 调用 关系 ， 然 后 给 出 测试 范围 优化 建议 。 同 时 ， 在 此 基础 上 建 
立 一 个 知识 库 ， 为 回归 测试 范围 的 优化 提供 基础 。 知 识 库 包 括 两 部 分 入 
容 : 测试 用 例 和 方法 之 间 的 映射 关系 ， 方 法 之 间 的 调用 关系 。 


自动 筛选 回归 测试 用 例 集 : 通过 代码 变更 分 析 ， 以 及 用 来 存储 测试 
用 例 和 代码 映射 关系 的 知识 库 ， 就 可 以 为 新 提交 的 软件 版 本 智能 地 筛选 
回归 测试 用 例 集 ， 如 图 6-18 所 示 。 


首先 分 析 新 的 软件 版 本 有 了 哪些 变更 ， 然 后 根据 已 经 建立 的 知识 库 ， 
得 出 改动 的 代码 影响 了 哪些 功能 ， 震 要 执行 哪些 测试 用 例 ， 这 样 束 可 以 
减少 针对 每 个 版 本 的 目 动 化 测试 用 例 集 ， 缩 短 目 动 化 测试 的 运行 时 间 。 
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图 6-18 ”回归 测试 用 例 集 的 自动 得 


6.5.6 ”优秀 实践 


目前 国内 不 少 公司 的 研发 团队 根据 精准 调试 的 技术 理论 开 及 了 目 己 
的 撤 术 框架 ， 实 现 了 测试 用 例 和 代码 的 可 视 化 的 双 辐 追 调 ， 回 归 测 试用 
例 集 的 自动 筛选 甚至 智能 选取 ， 代 码 履 盖 率 分 析 、 缺 陷 定位 ， 以 及 测试 
用 例 聚 类 分 析 ， 与 自动 化 测试 平台 的 集成 等 功能 。 


在 国际 上 ， 类 似 的 实践 和 技术 被 称 为 Intelligent Test Execution 或 者 
Smart Test Execution， 我 们 可 以 翻译 成 乔 能 的 测试 执行 。 例 如 ， 


SeaLights 公 司 的 测试 工具 ， 采 用 机 器 学 习 算 法 ， 和 针对 代码 变更 进行 测试 
影响 分 析 ， 识 别 并 执行 最 小 的 测试 用 例 集 ; 通过 动态 代码 分 析 对 UI 测 

试 、API 测 试 、 手 工 类 型 的 测试 ， 以 及 自动 化 测试 所 覆盖 的 测试 范围 进 
行 分 析 ， 识 别 元 余 测 斌 范围， 并且 对 那些 还 没有 被 现 有 的 测试 覆盖 的 代 
码 进行 不 同 的 风险 等 级 提示 。 该 公司 的 测试 工具 的 之 点 在 于 ， 其 不 但 基 
于 代码 和 训 试 用 例 建 立 的 双 同 追溯 进行 分 析 ， 而 且 会 结合 过 往 的 测试 执 
行 结果 和 生产 环境 中 的 用 户 行 为 等 多 种 上 下 文 进 行 分 机 ， 用 户 执行 不 到 
的 代码 从 产品 价值 上 来 说 不 需要 测试 。 这 应 该 是 未 来 的 方向 ， 采 用 人 工 
智能 技术 处 理 多 个 数据 来 源 让 测试 更 加 精准 和 智能 。 














6.6 ”敏捷 测试 要 不 要 计划 


如 末 没 有 事先 进行 计划 和 准备 ， 束 不 能 获得 项 目的 成 功 ， 这 充分 体 
现 了 计划 的 重要 性 。 虽 然 在 《敏捷 宣言 》 中 有 这 样 一 句 话 :“ 拥 抱 变化 
胜 于 遵循 计划 ?”， 但 是 在 敏捷 开发 模式 下 ， 没 有 计划 是 不 可 行 的 。 在 
《敏捷 宣言 》 的 末尾 ， 特 别提 醒 我 们 右 侧 项 也 是 有 价值 的 ， 即 “遵循 计 
划 ” 是 有 价值 的 ， 只 是 “拥抱 变化 ”更 具有 价值 。 








一 方面 ， 我 们 需要 写 一 个 简洁 的 测试 计划 书 ， 以 指导 后 续 的 测试 工 
作 ; 男 一 方面 ， 计 划 也 是 一 个 过 程 ， 正 如 我 们 常 说 的 ， 计 划 不 是 一 个 阶 
段 性 的 活动 ， 不 只 是 为 了 写 一 个 计划 书 ， 而 是 贯穿 整个 研发 项 目 周期 的 
计划 过 程 ， 于 是 计划 要 用 “Planning” 表 达 ， 强 调 它 是 一 个 基于 上 下 文 
的 、 不 断 优 化 的 计划 过 程 。 





6.6.1 测试 计划 的 价值 





在 敏捷 开发 中 ， 即 使 开发 节 礁 再 快 也 要 有 计划 ， 人 否则 结果 会 很 粮 
糙 。 在 制定 计划 的 过 程 中 ， 让 我 们 系统 审视 项 目 可 能 遇 到 的 问题 ， 尽 早 





识别 出 潜在 的 风险 ， 做 到 未 雨 绸 缘 、 防 患 于 未 然 ， 这 对 成 功 完 成 测试 是 
很 有 帮助 的 。 


在 制定 测试 计划 时 ， 首 先 要 明确 测试 目标 ， 这 个 目标 不 是 测试 人 员 
目 己 确定 的 测试 目标 ， 而 是 整个 团队 共同 确定 的 测试 目标 。 明 确 正 确 的 
测试 目标 很 重要 ， 因 为 后 续 所 有 的 测试 活动 就 是 为 了 达成 这 个 测试 目标 
而 进行 的 。 妨 外 ， 测 试 目标 会 引导 我 们 在 后 续 开 展 测试 活动 。 计 划 往 往 
是 评价 实施 的 依据 ， 基 于 测试 计划 可 以 更 好 地 评价 测试 效果 。 





事先 制定 测试 计划 ， 也 能 帮助 我 们 界定 项 目的 测试 范围 ， 即 事先 知 
道 哪 些 要 进行 测试 ， 哪 些 可 以 不 用 测试 ， 这 古 测试 估算 、 资 源 安排 的 基 
础 ， 也 是 后 续 测 试 分 析 、 测 试 设计 和 测试 执行 的 基础 。 从 这 个 角度 来 
看 ， 制 定 测试 计划 是 必要 的 。 


制定 测试 计划 可 以 帮助 我 们 理 顺 测试 的 思路 ， 制 定 一 个 切实 可 行 的 
测试 方案 ， 即 解决 如 何 测试 的 问题 ， 我 们 反思 过 去 做 得 不 够 好 的 地 方 ， 
然后 在 当前 项 目 上 进行 改进 。 简 洁 的 测试 计划 可 以 为 以 后 的 测试 提供 历 
中 测试 信息 和 可 退 溯 性 ， 从 而 推动 测试 的 持续 改进 。 


如 果 团 队 和 项 目 利益 相关 者 一 起 评审 计划 ， 并 一 致 认可 这 个 测试 计 
划 ， 也 束 说 明 计 划 中 所 定义 的 测试 范围 、 所 需 的 资源 、 所 安排 的 进度 等 


被 大 家 一 致 接受 ， 计 划 就 成 为 团队 和 项 目 利 益 相 关 者 之 间 的 一 种 约定 ， 
从 而 为 后 续 的 具体 实施 、 协 作 提供 了 有 力 保障 。 


6.6.2 一 页 纸 的 测试 计划 


里 然 测 试 计划 有 价值 ， 但 其 中 更 重要 的 工作 还 是 测试 的 分 析 与 设 
计 ， 例 如 如 何 通 过 分 析 找 出 更 多 的 场景 ， 然 后 设计 测试 用 例 或 脚本 窗 盖 
它们 。 而 且 ， 本 书 一 直 强 调 上 下 文 的 变化 ， 我 们 会 根据 上 下 文 来 调整 测 
试 计 划 。 因 此 ， 在 敏捷 中 ， 测 试 计划 要 尽 可 能 简单 ， 如 用 “一 页 纸 ” 的 方 
式 来 体现 敏捷 测试 计划 。 当 然 ， 你 可 以 写 两 三 页 甚至 更 多 页 的 测试 计 
划 ， 但 我 们 建议 你 在 测试 计划 中 只 写 下 那些 有 价值 的 内 容 。 














在 写 敏捷 测试 计划 时 ， 我 们 可 以 握 弃 一 些 通用 的 做 法 ， 改 变 一 些 惯 
例 。 例 如 ， 在 每 次 写 当 前 迭代 的 测试 计划 时 ， 会 将 上 一 个 迭代 计划 复制 
到 当前 这 个 计划 中 ， 这 是 在 传统 软件 训 试 计划 编写 过 程 中 经 各 做 的 事 
情 ， 但 在 敏捷 测试 中 残 不 要 做 了 。 有 些 惯例 ， 如 环境 的 例 行 检查 、 通 当 
的 入 口 /出 口 准则 、 上 线 前 要 做 的 例 行 检查 等 ， 痢 可 以 转化 为 一 些 清单 
又 称 检查 表 《〈checklist) 。 在 友 代 测试 计划 中 ， 我 们 只 记录 那些 本 次 帮 
代 特 有 的 内 容 。 





在 传统 测试 计划 中 ， 工 作 量 的 估算 是 基础 ， 特 别 是 项 目 越 大 ， 团 队 
规模 就 越 大 ， 这 时 工作 量 的 估算 会 更 受 关注 ， 从 而 决定 需要 多 少 人 力 资 
源 。 而 在 敏捷 测试 中 ， 一 方面 ， 团 队 规模 很 小 ， 相 对 稳定 ;为 一 方面 ， 
在 做 发 布 计划 时 会 有 估算 ， 以 决定 这 个 需求 (如 用 户 故 事 ) 是否 可 以 放 














入 当前 的 达 代 中 ， 一 旦 需求 放 入 迭代 中 ， 整 个 团队 就 要 努力 把 它 实 现 。 
即使 遇 到 个 算 不 够 准确 的 问题 或 其 他 困难 ， 此 时 迭代 周期 也 不 会 调整 ， 

而 是 依赖 于 团队 的 协作 和 努力 。 例 如 ， 在 前 期 ， 测 试 人 员 可 以 帮助 开发 
人 员 做 一 些 事情 ， 在 后 期 ， 开 及 人 员 可 以 帮助 测试 人 员 做 一 些 事情 。 分 
工 不 要 那么 明确 ， 更 强调 团队 的 协作 力量 ， 这 时 ， 估 算 就 不 那么 重要 

了 。 在 传统 测试 计划 中 ， 进 度 安排 也 是 很 重要 的 一 项 ， 但 敏捷 中 完全 有 
可 能 省 去 ， 因 为 我 们 更 强调 持续 测试 ， 在 一 个 欠 代 中 ， 没 有 明显 的 里 程 
碑 ， 即 使 和 有， 也 已 成 为 惯例 ， 因 为 迭代 周期 是 相对 固定 、 有 市 答 的 。 例 
如 ， 前 两 天 要 完成 测试 需求 分 析 和 测试 计划 ， 最 后 一 天 要 完成 一 个 全 回 
归 测 试 等 已 成 为 惯例 或 者 流程 的 一 部 分 ， 团 队 遵 守 它们 就 好 了 ， 没 必要 
在 每 个 迭代 计划 中 重复 出 现 。 




















经 过 上 面 的 讨论 ， 在 敏捷 测试 计划 中 ， 必 须 写 下 来 的 主要 事项 有 以 
下 10 个 。 


1) 测试 目标 : 在 业务 上 如 何 更 好 地 确保 已 有 业务 不 受 影响 ， 以 及 
在 易 用 性 、 性 能 、 安 全 性 、 测 试 覆 兰 率 、 训 试 效率 等 方面 的 具体 、 明 确 
的 目标 。 


2) 交付 内 容 : 交付 哪些 有 价值 的 内 容 给 客户 ? 交付 哪些 功能 特 
性 ? 交付 哪些 文档 或 工作 件 “ 如 测试 计划 、 目 动 化 脚本 等 ) ?可 以 包括 
整体 的 验收 标准 。 


3) 测试 项 : 我 们 将 测试 什么 、 不 测试 什么 。 我 们 要 明确 要 测试 的 
功能 、 性 能 等 ， 同 时 要 明确 要 做 哪些 合 规 性 检查 、 需 要 测试 哪些 环境 / 





平台 等 。 


4) 人 员 安 排 : 每 一 个 测试 任务 都 有 对 应 的 团队 成 员 负 责 。 


5) 假定 : 有 没有 一 些 假定 条 件 ? 例如 ， 这 次 竺 发 布 的 版 本 只 限于 
特定 的 用 户 使 用 。 


6) 依赖 性 : 前 站 发 布依 赖 于 后 端 茶 个 版 本 的 发 布 ， 以 及 组 件 之 间 
的 依赖 性 等 。 


7) 测试 风险 : 可 能 会 出 什么 样 的 质量 问题 、 可 能 面 对 的 测试 挑 
战 、 可 能 无 法 履 盖 的 茶 些 测试 点 等 ， 涉 及 人 员 、 测 斌 范围、 环境 、 时 间 
和 资源 等 不 确定 因素 或 潜在 的 负面 影响 。 








8) 测试 策略 : 会 采用 什么 测试 策略 ? 采用 哪些 测试 方法 或 工具 ? 
9) 测试 环境 : 会 做 哪些 改变 或 需要 进行 哪些 新 的 配置 ? 


10) 其 他 : 如 参考 的 文档 资料 。 


6.6.3 ”如 何 编 写 一 页 纸 的 测试 计划 





在 上 文 我 们 已 经 讨论 了 代码 依赖 性 分 析 ， 基 于 上 下 文 驱动 思维 的 测 
斌 分析， 基于 用 户 思 维 的 场景 挖掘 ， 测 试 风险 识别 与 分 析 ， 以 及 测试 策 
略 的 制定 。 这 些 工作 做 好 了 ， 测 试 计划 就 会 水 到 渠 成 ， 剩 下 的 问题 就 是 
如 何 描述 这 个 测试 计划 。 


之 前 ， 我 们 辟 欢 用 Word 方 式 来 编写 测试 计划 ， 但 在 敏捷 测试 中 ， 
是 时 候 换 一 种 方式 来 表达 了 ， 即 在 以 简洁 的 方式 呈现 测试 计划 的 同时 ， 
团队 成 员 也 方便 浏览 ， 即 使 有 问题 ， 也 相对 容易 发 现 。 对 于 这 样 的 要 
求 ， 我 们 自然 会 想到 利用 Wiki、 仪 表 板 和 思维 导 图 等 方式 来 表达 。 


1. Wiki 方 式 


Wiki (一 种 名 人 协作 的 写作 系统 ) 方式 可 以 为 测试 计划 创建 一 个 页 
面 ， 就 如 同 墨 客 文档 、 腾 讯 在 线 文档， 可 以 引用 一 个 合适 的 模板 《如 表 
格 方式 的 模板 ) ， 团 队 成 员 可 以 在 相应 的 地 方 进行 添加 、 修 改 等 编辑 工 
作 ， 这 种 方式 特别 适合 团队 协作 。 我 们 也 可 以 让 之 前 所 设置 的 测试 负责 
人 先 完成 一 个 测试 计划 的 初稿 ， 然 后 召开 (在线) 会议， 团队 成 员 一 起 
快速 浏览 、 评 审 这 个 计划 ， 不 同 的 团队 成 员 可 以 直接 在 这 个 文档 上 提出 
目 己 的 建议 或 进行 修改 ， 最 后 由 测试 负责 人 定稿 ， 并 持续 维护 这 个 文 
档 。 








2. 仪表 极 方 式 





仪表 板 〈dashboard) 方式 可 以 使 团队 成 员 以 更 好 的 视觉 方式 查看 测 
试 计划 ， 一目了然 。 在 仪表 板 上 ， 我 们 可 以 加 上 色彩 ， 以 突出 重点 ， 将 
团队 成 员 的 视线 吸引 到 某 个 特定 的 区 域 ， 如 测试 风险 、 测 试 策略 等 区 
域 ， 如 图 6-19 所 示 。 





上 
测试 计划 项 目 背景 与 约束 
st > 上 线 ， 正 式 交付 


> 涉及 支付 接口 、 与 第 三 方 平台 的 接口 等 


测试 目标 








> 推广 上 线 ， 确 保 在 功能 、 性 能 、 支 付 
安全 等 方面 没有 问题 

> 回归 测试 自动 化 率 提高 10% 测试 项 /测试 范围 
> 分 享 推广 接口 测 斌 
> 重点 场景: …… 
依赖 性 /假定 风险 
仿 设 第 三 方 平台 是 和 | | > 基 些 乱 求 和 不 明确 
定 的 








> 这 次 测试 任务 特别 重 





测试 策略 ， 包 括 采用 的 方法 、 工 具 
> 加 强 接口 测试 
gi > 组 合 测 汪 及 其 优化 














图 6-19 仪表 板 方式 的 测试 计划 
3. 思维 导 图 方式 


在 创建 敏捷 测试 计划 时 ， 我 们 推荐 思维 导 图 方式 ， 因 为 它 可 以 与 之 
前 的 测试 需求 分 析 、 风 险 分 析 等 较 好 地 进行 衔接 。 例 如 ， 整 理 测 试 项 、 
测试 风险 项 等 工作 ， 均 是 一 个 先 发 散 、 后 收 线 的 过 程 ， 我 们 可 以 进行 头 
脑 风 又 ， 无 论 对 错 ， 先 增加 内 容 ， 再 删 去 不 合理 的 内 容 ， 因 为 增加 市 
把 、 删 除 节 点 是 经 常 友 生 的 事 ， 而 且 制 定 敏捷 测试 计划 是 一 个 相对 变化 
比较 频繁 的 动态 过 程 ， 也 是 一 个 不 断 完善 的 碗 代 过 程 。 





思维 导 图 采用 一 种 直观 的 视觉 方式 ， 可 以 增强 创造 性 思维 和 记忆 
力 ， 也 能 体现 测试 计划 编写 的 思维 方式 ， 真 正 能 做 到 “一 页 纸 ” 的 测试 计 
划 就 是 一 张 图 ， 如 图 6-20 所 示 。 





针对 测试 项 、 测 试 风险 和 测试 策略 等 ， 可 以 在 思维 导 图 上 标注 优先 
级 。 如 果 团 队 成 员 不 确定 茶 些 内 容 是 否 可 以 删除 ， 那 么 可 以 添加 注释 。 





在 对 茶 个 训 试 风险 、 测 斌 项、 场景 的 讨论 过 程 中 ， 如 有 果 产 生 一 些 好 的 想 
法 ， 也 可 以 及 时 添加 注释 。 如 果 有 些 风险 和 策略 有 关系 ， 有 些 测试 项 之 
间 有 依赖 关系 ， 那 么 可 以 标注 这 些 关 系 。 





采用 思维 导 图 来 制定 测试 计划 ， 不 需要 再 花 一 整 天 或 好 几 天 时 间 ， 
只 要 2~3 小 时 就 能 完成 。 团 队 成 员 更 愿意 参加 这 种 讨论 ， 因 为 这 种 方式 
不 但 效率 高 ， 而 且 有 趣 、 互 动 性 强 。 这 种 方式 制定 的 测试 计划 可 以 灵活 
展开 、 折 县， 在 手机 上 也 可 以 方便 浏览 。 而 且 ， 我 们 随时 可 以 江 加 或 删 
除 测试 项 ， 随 时 可 以 调整 和 完善 测试 计划 。 我 们 也 可 以 将 测试 计划 贴 在 
着 和 日 板 上 ， 使 测试 计划 随时 可 见 ， 如 在 每 日 站 会 上 ， 可 以 结合 敏捷 测 
试 计划 ， 审 碍 项 目的 实际 进展 。 











综 上 所 述 ， 采 用 思维 导 图 方式 创建 和 维护 测试 计划 是 可 行 的 ， 效 果 
也 不 错 。 现 在 有 些 公司 已 经 开发 了 企业 内 部 的 思维 导 图 在 线 网 站 ， 从 而 
可 以 像 Wiki 方 式 那 样 团队 协作 完成 测试 计划 ， 只 是 这 样 的 测试 计划 不 是 
纯 文字 形式 ， 而 是 一 张 内 容 丰 富 的 图 。 
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图 6-20 ”利用 思维 导 图 方式 编写 的 测试 计划 


要 写 出 有 效 的 测试 计划 ， 团 队 需 要 约定 一 些 测试 计划 制定 时 的 原 
则 ， 如 : 


。 测试 计划 必须 给 出 产品 价值 的 衡量 方法 或 验证 方法 ; 


。 测试 目标 必须 明确 ,符合 SMART 原 则 每 ; 


。 测试 项 必须 列 出 应 用 场景 ， 标 注 优先 级 ; 


。 测试 风险 不 要 多 ， 只 要 列 出 排名 前 5 的 测试 风险 ; 


。 测试 策略 能 够 消除 或 缓解 测试 风险 ， 并 确保 测试 目标 的 实现 ; 


。 依 赖 性 、 假 定 等 不 可 或 缺 。 
6.7 探 村 式 测 试 与 基于 脚本 的 测试 


本 章 前 面 的 内 容 已 经 介绍 了 如 何 完成 “测试 计划 ”相关 的 内 容 ， 按 照 
正常 逻辑 ， 本 章 可 以 到 此 结束 了 ， 但 是 考虑 到 探索 式 测试 在 敏捷 开发 中 
的 应 用 ， 又 增加 了 后 面 的 内 容 。 探 索 式 测试 是 指 “ 测 试 设计 、 执 行 和 学 
习 同 时 进行 >?。 这 种 测试 方式 ， 只 影响 测试 的 设计 和 执行 ， 与 计划 没有 
什么 关系 ， 为 何 要 在 这 个 模块 来 讨论 探索 式 测 试 呢 ? 


没 错 ， 探 索 式 测试 是 指 “ 测 试 设计 、 执 行 和 学 习 同 时 进行 2 的 测试 方 
式 ， 但 要 比较 彻底 地 推动 探索 式 测 试 的 实施 ， 或 者 说 ， 如 果 期 望 在 敏捷 
测试 中 采用 纯粹 的 探索 式 测试 ， 就 需要 引入 基于 会 话 的 测试 管理 
(session-based test management，SBTM) ， 这 会 涉及 测试 计划 ， 拒 测 
试 目标 分 解 、 会 话 分 解 都 可 以 归 为 测试 计划 的 一 部 分 ， 可 以 将 其 看 作 原 
来 测试 计划 的 延续 。 








为 了 讲解 SBTM， 需 要 先 介绍 什么 是 探索 式 测试 ， 以 及 它 与 基于 脚 
本 的 测试 的 区 别 。 


6.7.1 什么 是 探索 式 测 试 





探索 式 测试 (exploratory testing，ET) 在 1984 年 塞 姆 . 卡 纳 编写 的 


《计算 机 软件 测试 》 一 书 中 首次 出 现 ， 其 比较 明确 的 定义 是 詹姆斯 : 巴 
赫 在 1995 年 给 出 的 “测试 设计 、 执 行 和 学 习 同 时 进行 >”， 这 里 的 设计 ， 应 
该 是 指 测 试用 例 的 设计 《测试 的 详细 设计 ) 。2007 年 ， 卡 纳 在 和 众多 的 
上 下 文 驱 动 测 试 流派 的 测试 人 士 〈 包 括 巴 赫 ) 讨论 之 后 ， 给 出 了 探索 式 
测试 比较 全 面 的 定义 。 


探索 式 测试 是 一 种 软件 测试 风格 (style〉， 它 强调 独立 测试 人 员 
(individual tester〉 的 个 人 自由 和 职员 (personal freedom and 
responsibility) ， 为 了 持续 优化 其 工作 的 价值 (value〉， 将 测试 相关 的 
学 习 (test-related learning) 、 测 试 设计 (test design) 、 测 试 执行 (test 
execution) 和 测试 结果 分 析 (analysis〉 作 为 相互 支持 的 活动 ， 在 整个 项 
目 过 程 中 并 行 地 执行 。 


从 这 个 比较 全 面 的 定义 来 看 ， 探 索 式 测试 有 以 下 几 个 要 点 : 


。 探索 式 测 试 不 是 测试 方法 、 测 试 技术 ， 而 是 一 种 软件 测试 方式 (不 
要 写成 “探索 性 测试 >) ， 各 种 测试 方法 、 测 试 技术 依旧 可 以 应 用 于 
探索 式 测试 的 方式 中 ; 








。 以 人 为 本 ， 强 调 测试 人 员 的 价值 ， 给 他 们 更 大 的 自由 发 挥 空间 ; 


。 持 续 测试 ， 测 试 设计 、 执 行 、 学 习 和 结果 分 析 同时 进行 ， 没 有 明确 
的 阶段 划分 ; 


。 持续 优化 测试 工作 ; 
。 不 只 是 一 种 辅助 的 测试 方式 ， 它 可 以 贯 罕 整 个 项 目 生 命 周 期 。 


其 中 以 人 为 本 、 持 续 测试 和 持续 优化 ， 与 敏捷 的 价值 观 和 原则 是 相 
同 的 ， 因 此 敏捷 开发 和 探索 式 测试 更 加 吻合 。 多 年 前 ， 笔 者 发 表 过 一 个 
演讲 ， 其 主题 束 是 “敏捷 开 帮 紧 紧 拥抱 探索 式 测 试 ”。 


探索 式 测 试 的 执行 可 以 用 循环 的 方式 来 表示 ， 如 图 6-21 所 示 ， 这 个 
循环 只 是 完成 一 个 测试 “用 例 ) 。 这 种 从 测 斌 设计、 执行、 分 析 到 学 习 
持续 循环 的 方式 ， 可 以 极 看 作 以 螺旋 方式 不 断 上 升 的 过 程 。 


学 习 


则 试 


分 析 VF 设计 


执行 








图 6-21 探索 式 测 试 就 是 持续 循环 的 过 程 





因此 ， 这 个 循环 过 程 有 以 下 4 个 好 处 。 


1) 在 头脑 中 进行 设计 。 过 去 ， 我 们 设计 测试 用 例 时 是 要 写 下 来 
的 ， 估 计 一 个 用 例 要 用 挤 几 分 钟 或 更 长 的 时 间 ， 而 利用 这 种 方式 时 ， 我 
们 只 是 在 头脑 中 进行 设计 ， 一 般 只 要 人 花费 几 秒 时 间 ， 效 率 会 高 很 多 。 


2) 开始 执行 测试 ， 在 过 去 ， 我 们 想到 一 个 测试 用 例 ， 就 写 下 来 ， 
思路 是 断断续续 的 ， 而 利用 这 种 方式 时 的 思路 是 连贯 的 ， 思 维 也 会 更 加 


敏捷 。 


3) 根据 上 下 文 及 其 测试 结果 进行 分 析 ， 也 束 是 说 ， 下 一 次 测试 循 
环 是 要 根据 上 一 次 测试 的 结果 来 决定 是 否 要 做 出 调整 。 如 果 测 试 的 结果 
没有 达到 测试 人 员 的 期 望 ， 比 如 没有 友 现 bug， 这 时 就 需要 分 析 ， 判 断 
测试 思路 可 能 错 在 哪里 ， 如 何 进 行 调整 或 改进 ， 从 而 在 头脑 中 重新 设计 
测试 用 例 ， 进 行 下 一 个 循环 。 


4) 从 执行 和 分 析 的 过 程 中 学 习 ， 快 速 改 进 。 一 个 循环 只 有 几 分 
钟 ， 在 这 么 短 的 时 间 内 很 可 能 有 学 习 的 机 会 ， 而 获得 改进 ， 持 续 下 去 ， 
一 年 下 来 改进 是 很 大 的 。 











探索 式 测试 是 上 下 文 驱动 流派 的 其 体 实践 与 体现 ， 它 强调 软件 研发 
过 程 中 上 下 文 《需求 、 进 度 、 人 员 和 风险 等 ) 是 不 断 变化 的 ， 只 有 测试 
人 员 才 能 及 时 适应 这 种 变化 ， 对 测试 范围 、 思 路 和 方法 ， 以 及 软件 的 操 
作 等 做 出 调整 ， 不 断 优 化 测试 ， 从 而 尽快 、 尽 早 、 尽 可 能 多 地 发 现 软件 
缺陷 ， 提 高 测试 的 有 效 性 和 效率 。 





6.7.2 ”探索 去 测试 的 应 用 场景 





探索 式 测试 天 生 具 有 根据 上 下 文 灵活 调整 测试 范围 、 测 试 技术 和 测 
斌 方法， 并 且 对 测试 结果 做 出 综合 判断 的 “基因 *， 因 此 ， 其 更 具备 在 敏 
捷 模式 下 应 对 各 种 不 确定 性 因素 和 变化 的 能 


当 产品 的 一 个 新 功能 的 需求 不 够 明确 时 ， 需 求 和 设计 往往 经 常 变 


更 ， 不 仅 业务 场景 不 够 明确 ， 测 试 结果 的 判断 准则 也 不 清晰 。 这 时 采用 
探索 式 测试 可 以 一 边 测试 一 边 了 解 新 的 功能 特性 ， 通 过 不 断 地 进行 质疑 
和 澄清 在 团队 协作 中 逐渐 确定 需求 和 设计 ， 并 且 发 现 真正 有 效 的 缺陷 。 





探索 式 汕 试 不 需要 提前 写 测试 用 例 ， 开 发 完 一 个 功能 特性 ， 就 测试 
一 个 功能 特性 ， 从 而 可 以 在 很 大 程度 上 节省 手工 测试 的 时 间 ， 提 高 测试 
效率 。 因 此 ， 妆 测试 时 间 不 足 ， 震 要 来 用 手工 测试 对 软件 版 本 的 质量 进 
行 快速 反馈 时 ， 探 索 式 测试 在 测试 效率 上 比 基 于 脚本 的 手工 测试 更 有 优 
势 。 











而 且 相 比 基 于 脚本 的 手工 测试 ， 探 索 式 测试 挖掘 测试 场景 、 发 现 缺 
阶 的 能 力 更 强 ， 更 能 贯彻 基于 风险 的 测试 策略， 觉得 何 处 质量 风险 高 ， 
就 多 测试 那里 。 即 使 在 有 自动 化 测试 履 盖 的 范围 内 ， 也 可 以 根据 情况 安 
排 探索 式 测试 ， 帮 助 发 现 隐藏 很 深 的 缺陷 。 








因此 ， 如 果 需 要 更 好 地 应 对 需求 和 设计 的 变化 ， 提 高 测试 效率 ， 发 
现 更 多 有 价值 的 缺陷 ， 束 需要 引入 探索 式 测试 。 这 些 应 用 场景 不 但 存在 
于 敏捷 开发 模式 中 ， 而 且 存 在 于 传统 的 瀑布 式 开发 模式 中 ， 只 不 过 在 敏 
捷 开 发 中 需求 变化 的 问题 更 加 突出 ， 对 测试 效率 的 要 求 更 高 ， 因 此 更 需 
要 探索 式 测 试 。 

















6.7.3 ”基于 脚本 的 测试 








与 探索 式 测试 不 同 的 是 ， 基 于 脚本 的 测试 (scripted testing，ST) 
先 完 成 测试 脚本 ， 再 执行 测试 脚本 ， 有 明确 的 阶段 划分 ， 前 面 一 段 时 间 





专注 村 汕 试 脚 本 的 设计 与 开发 ， 后 面 一 段 时 间 专 注 村 训 试 脚本 的 执行 。 
这 里 的 测试 脚本 ， 包 括 手 工 执 行 的 测试 用 例 和 工具 执行 的 上 自动化 测试 肢 
本 。 





基于 脚本 的 测试 与 传统 开发 的 瀑布 模型 的 思维 方式 是 一 致 的 ， 与 瀑 
布 模型 的 具体 实施 过 程 也 是 匹配 的 。 在 瀑布 模型 中 ， 阶 段 划分 也 是 非常 
明确 的 ， 从 需求 分 析 、 设 计 到 实施 ， 一 个 阶段 接 一 个 阶段 地 往 前 推进 ， 
测试 目 然 也 是 先 分 析 ， 再 设计 ， 最 后 执行 。 在 传统 的 开 友 方式 中 ， 这 样 
做 有 其 可 行 性 ， 也 不 得 不 这 样 做 。 





。 在 传统 的 开发 方式 中 ， 需 求 文档 、 设 计 文 档 规 范 、 详 细 ， 基 于 这 样 
的 需求 文档 、 设 计 文 档 ， 能 够 清楚 地 理解 产品 需求 和 设计 ， 能 够 开 
展 测 试用 例 的 设计 工作 。 


。 在 传统 的 开发 和 测试 中 ， 有 一 个 “开发 提交 测试 ?的 里 程 碑 ， 即 存在 
一 个 测试 阶段 ， 一 旦 开发 人 员 将 构建 的 版 本 提交 给 测试 人 员 即 意味 
者 测试 执行 阶段 开始 ， 而 在 这 个 里 程 碑 到 来 之 前 ， 开 发 人 员 没 有 交 
付 版 本 ， 测 试 人 员 无 法 执行 测试 ， 只 能 进行 测试 的 设计 。 


这 也 进一步 证 明了 有 什么 样 的 开发 模式 就 有 什么 样 的 测试 模式 ， 如 
图 6-22 所 示 。 












测试 设计 





瀑布 模型 


基于 脚本 的 测试 方式 





图 6-22 有 什么 开发 模式 就 有 什么 测试 模式 





6.7.4 ”探索 式 测试 与 基于 脚本 的 测试 的 比较 


为 了 让 读者 更 好 地 理解 探索 式 测试 ， 我 们 可 以 将 它 和 基于 脚本 的 测 
试 进行 比较 。 首 先 ， 基 于 脚本 的 测试 和 探索 式 测试 之 间 是 有 联系 的 ， 当 
基于 脚本 的 测试 中 的 脚本 粒度 越 来 越 粗 的 时 候 ， 基 于 脚本 的 测试 正 允 近 
探索 式 测试 。 探 索 式 测试 也 不 同 于 ad-hoc 测 试 ， 它 不 是 随机 测试 ， 而 是 
有 和 角色 扮演 、 有 场景 的 设计 ， 即 在 进行 探索 式 测试 之 前 也 是 有 准备 的 ， 
甚至 有 粗 粒度 的 设计 ， 如 图 6-23 所 示 。 









































只 有 工具 现实 中 的 探索 式 人 做 自由 的 只 有 猴子 做 
自动 化 测试 。 基于 脚本 的 测试 测试 测试 由 的 测试 
林 [1 水 让 [1 
3 ' 控 握 缺陷 
基于 脚本 J ad-hoc 
的 测试 a nr 
规范 的 松散 的 测 斌 测试 角色 扮演 完全 自由 的 
钥 本 用 例 场景 测试 探索 





图 6-23 ”基于 脚本 的 测试 、 探 索 式 测试 和 ad-hoc 测 试 的 关系 


如 图 6-24 所 示 ， 基 于 脚本 的 测试 与 传统 研发 模式 比较 吻合 ， 其 阶段 
划分 明确 ， 来 目 于 软件 测试 的 分 析 流 派 和 标准 流派 ， 注 重文 档 及 其 规范 


性 ， 依 赖 测试 用 例 的 评审 来 保证 测试 用 例 的 质量 ， 有 利于 管理 和 测试 资 
产 的 复 用 ， 整 个 方式 相对 严谨 和 规范 。 而 探索 式 测 试 则 是 软件 测试 上 下 
文 驱动 流派 的 代表 ， 注 重 发 挥 测试 人 员 的 个 人 能 力 ， 特 别 是 在 缺乏 明确 
的 测试 结果 判断 准则 (而 是 局 发 式 的 测试 预言 的 情况 下 ， 它 更 能 发 挥 
作用 。 而 且 ， 探 索 式 测试 直接 针对 被 测 产 品 进行 测试 ， 关 注 与 产品 的 交 
互 ， 不 断 质疑 产品 ， 我 们 从 中 也 获得 了 测试 的 乐趣 。 








一 
拥抱 变化 
用 户 从 中 获得 测试 的 乐 色 





图 6-24 “探索 式 测试 与 基于 脚本 的 测试 的 比较 
6.7.5 ”敏捷 拥抱 探索 式 测 试 


测试 人 员 和 直接 针对 产品 进行 测试 ， 开 友人 员 对 产品 进行 修改 ， 测 试 
人 员 束 进行 相应 的 测试 。 探 索 式 测试 不 需要 写 测 试用 例 ， 也 不 需要 维护 
测试 用 例 ， 因 此 探索 式 测 试 是 最 能 适应 产品 变化 的 。 探 索 式 测 试 关注 产 
品 ， 直 接 与 产品 进行 交互 ， 这 和 《敏捷 宣言 》 中 的 “可 工作 的 产品 胜 于 
详尽 的 文档 ?这 个 价值 观 是 吻合 的 。 这 些 进一步 说 明敏 捷 开 发 拥抱 探索 
式 测 试 。 











测试 人 员 与 产品 交互 的 过 程 不 是 普通 的 对 话 过 程 ， 而 是 运用 批判 性 
思维 不 断 质疑 产品 的 过 程 ， 即 不 断 把 问题 掀 给 被 测 系 统 ， 并 观察 被 测 系 


统 如 何 反 应 。 这 样 ， 我 们 可 以 给 “软件 测试 "重新 下 一 个 定义 ， 即 软件 测 
试 就 是 测试 人 员 不 断 质 疑 被 测 系统 的 对 话 过 程 ， 如 图 6-25 所 示 。 这 时 ， 
如 果 将 汕 试 人 员 当 成 客户 器 ， 将 被 测 系统 当成 服务 器 ， 训 试 的 过 程 就 是 
在 客户 端 和 服务 器 之 间 建 立 一 个 会 话 的 过 程 。 通 过 这 样 的 举例 方式 还 可 
以 帮助 读者 更 好 地 理解 6.8 节 中 介绍 的 SBTM 中 的 会 话 。 
_ Ba 


被 测 系统 
(SUT) 


不 断 质 疑 被 测 系统 而 进行 输入 等 操作 
( 类 似 提出 问题 、 客 户 端 的 Request ) 










被 测 系统 给 出 响应 
测试 人 员 根 据 响应 做 出 判断 


在 测 ; 式 人 员 和 [被 测 系统 之 间 
建立 会 话 的 过 程 














图 6-25 ”从 探索 式 测试 角度 重新 理解 软件 测试 





























为 了 更 好 地 应 对 需求 变化 、 适 应 快速 欠 代 的 节奏 、 提 高 测试 效率 ， 
以 及 解决 测试 的 判断 准则 不 够 明确 的 问题 “如 需求 文档 不 清晰 》， 我 们 
就 需要 引入 探索 式 测试 。 敏 捷 测 试 和 探索 式 测 试 是 奶 明 相通 的 ， 主 要 体 
现在 以 下 几 个 方面 。 








价值 驱动 或 业务 驱动 。 敏 捷 测 试 和 探索 式 测试 都 强调 做 对 客户 有 价 
值 的 事情 。 





。 持续 学 习 和 改进 。 上 下 文 驱动 ， 不 断 学 习 ， 不 断 改 进 ， 精 益 求 精 。 


。 以 人 为 本 。 敏 捷 测 试 和 探索 式 测 试 都 强调 人 是 最 重要 的 ， 要 挖掘 每 
一 个 研发 人 员 的 潜力 。 


。 效率 优先 。 更 侧重 效率 ， 强 调 快速 完成 任务 ， 持 续 工 作 ， 持 续 交 


付 。 

。 拥抱 变化 。 更 具有 适应 性 ， 能 够 快速 啊 应 变化 ， 认 可 “拥抱 变化 胜 
于 如 人 循 计划 ”这 样 的 价值 观 。 

。 关注 产品 本 身 。 认 可 “可 工作 的 产品 胜 于 详尽 的 文档 这样 的 价值 


观 。 


6.8 SBTM 的 由 来 及 使 用 


SBTM 是 在 探索 式 测试 的 基础 之 上 被 提出 来 的 ， 虽 然 它 已 经 出 现 20 
年 了 ， 但 目前 国内 真正 了 解 它 的 测试 人 员 并 不 多 。 软 件 测试 不 缺乏 好 的 
技术 和 方法 ， 但 我 们 为 什么 没有 把 它们 应 用 到 工作 中 呢 ? 这 个 问题 值得 





大 家 思考 。 
本 节 主 要 介绍 SBTM 的 由 来 ， 以 及 如 何 使 用 SBTM 进 行 从 测试 计划 
到 具体 的 测试 任务 的 分 解 。 


6.8.1 SBTM 的 由 来 





在 敏捷 测试 中 ， 提 倡 以 探索 式 测 试 为 主要 方式 的 手工 测试 。 虽 然 探 
索 式 测试 事先 不 写 测 试用 例 ， 充 分 发 挥 调试 人 员 的 技能 和 思维 能 力 ， 但 
这 并 不 意味 着 探索 式 测 试 活动 不 需要 计划 、 组 织 和 管理 ， 相反， 我 们 会 
基于 风险 的 测试 集 略 完成 整个 软件 产品 的 测试 ， 测 试 任务 也 需要 分 解 并 
按照 优先 级 和 工作 量 分 配 到 个 人 ， 测 试 结果 需要 汇总 ， 并 根据 训 试 结 








安排 和 调整 下 一 步 的 测试 任务 。 


SBTM 是 庆 纳 森 :巴赫 和 人 詹姆斯 :巴赫 在 2000 年 提出 来 的 。 乔 纳 森 : 巴 
赫 在 《基于 会 话 的 测试 管理 》 (“Session- Based Test Management”) 这 
篇 文章 中 提 到 ， 在 采用 探索 式 测试 的 方式 进行 测试 的 过 程 中 ， 他 作为 测 
试 负 责 人 需要 每 天 和 团队 中 的 测试 人 员 沟通 ， 以 了 解 测试 情况 ， 然 后 回 
关心 测试 进度 的 人 进行 汇报 ， 但 他 发 现 通过 口头 交流 得 到 的 反馈 内 容 因 
人 而 异 ， 因 为 有 人 喜欢 讨论 细节 ， 有 人 豆 欢 谈论 缺陷 ， 有 人 没有 什么 反 
馈 ， 这 给 他 了 解 测试 进度 并 进一步 安排 测试 任务 这 来 了 困难 。 

















因此 ， 他 和 他 的 哥哥 詹姆斯 :巴赫 就 希望 设计 一 套 方法 ， 既 能 更 好 
地 组 织 和 管理 探索 式 测 试 ， 又 不 影响 测试 人 员 在 测试 活动 中 的 自由 度 和 
灵活 性 。 另 外 ， 他 们 还 注意 到 ， 测 试 人 员 在 一 天 之 内 不 仅 要 做 测试 ， 还 
有 许多 其 他 任务 ， 为 了 让 测试 人 员 在 测试 中 更 专注 于 “探索 ”， 不 受 其 他 
事情 的 干扰 ， 会 话 (session) 只 用 来 做 测试 的 最 小 工作 单元 一 一 的 
概念 随 之 产生 。SBTM 就 是 用 来 有 效 管 理 这 一 工作 单元 的 系列 方法 。 








6.8.2 ”真正 理解 会 话 


SBTM 需 要 结合 探索 式 测 试 的 特点 来 理解 。 探 索 式 测试 可 以 看 作 “ 不 
吻 地 问 系 统 或 质疑 系统 ”的 过 程 ， 因 此 ， 一 个 会 话 可 以 理解 为 “测试 人 员 
和 被 测试 系统 的 一 次 对 话 ?， 而 不 只 是 一 个 “时 间 盒 ”。 在 SBTM 方 法 中 ， 
一 次 完整 的 会 话 过 程 如 下 所 述 。 





测试 人 员 在 一 个 不 受 打 扰 的 时 间 盒 (timebox) 内 ， 针 对 一 项 清 





晰 、 有 具体 的 测试 任务 进行 探索 式 测 试 ， 这 个 时 间 段 通常 是 90 分 钟 左 右 。 
在 测试 结束 后 ， 测 试 人 员 提 交 形 式 简 单 的 文字 报告 ， 即 会 话 表 〈session 
sheet) ， 并 且 尽 快 癌 测试 负责 人 进行 口头 汇报 〈debriefing) 。 会 话 要 执 
行 的 具体 测试 任务 需要 书面 描述 ， 在 SBTM 中 称 之 为 章程 〈charter) 。 

测试 负责 人 可 以 是 敏捷 团队 的 负责 人 、 传 统 测 试 团队 的 负责 人 ， 也 可 以 
是 指定 的 资深 测试 人 员 。 





另外 ， 还 需要 把 SBTM 和 测试 计划 结合 起 来 以 理解 它 的 整体 框架 ， 
如 图 6-26 所 示 。 从 图 6-26 中 可 以 看 出 ，SBTM 是 在 一 次 迭代 中 测试 计划 
之 后 进行 的 ， 并 且 “ 监 控 ” 和 “测试 完成 ”这 些 环 市 没有 变化 。 我 们 该 怎么 
做 测试 计划 就 怎么 做 ， 测 试 过 程 依旧 需要 监控 ,衡量 测试 能 否 结束 的 定 
性 /定量 标准 也 是 一 样 的 ， 最 终 要 实现 测试 计划 所 定义 的 测试 目标 。 
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图 6-26 ”SBTM 框 架 示 意图 


首先 ， 把 测试 计划 中 的 测试 目标 分 解 为 一 系列 清晰 的 、 上 其 体 的 测试 
子 目标 (mission〉， 每 个 测试 子 目标 代表 一 个 测试 任务 。 一 个 特定 的 测 





试 子 目 标 ， 需 要 通过 一 个 或 几 个 具体 会 话 来 完成 。 每 个 会 话 中 要 执行 的 
具体 任务 需要 一 个 指导 书 来 描述 ， 惑 是 测试 章程 。 训 试 计划 、 训 试 子 目 
标 、 会 话 和 章程 之 间 关 系 的 描述 如 图 6-27 所 示 。 








测试 计划 









测试 子 目 标 n 





[ timebox= 会 话 ] 





图 6-27 SBTM 主 要 元 素 之 间 的 关系 





6.8.3 测试 计划 分 解 成 多 个 子 目标 


6.6 市 已 经 讲解 了 测试 计划 ， 敏 捷 测 试 中 要 为 每 一 次 达 代 制定 一 个 
简单 的 测试 计划 。SBTM 根 据 测 试 计 划 把 测试 目标 分 解 成 砂 干 个 子 目 
标 ， 这 里 的 子 目 标 可 以 看 成 对 测试 会 话 进 行 分 类 。 那 么 ， 探 索 式 测试 可 
以 承担 哪些 测试 子 目标 呢 ? 


简单 回顾 一 下 第 2 章 介绍 的 敏捷 测试 流程 ， 在 一 次 达 代 中 主要 的 测 
试 活动 包括 持续 测试 和 版 本 验收 测试 。 前 半 段 是 持续 测试 ， 主 要 目的 是 
发 现 缺陷 ， 包 括 单元 测试 、 集 成 测试 、 新 的 用 户 故 事 的 测试 等 功能 性 测 
试 ， 也 包括 性 能 测试 、 安 全 测试 、 羔 容 性 测试 等 非 功能 性 测试 。 后 半 段 
征 版 本 验收 测试 ， 既 包括 用 户 故 事 的 验收 ， 又 包括 系统 端 到 端的 验证 。 





至 于 测试 方式 ， 总 体 原 则 是 新 功能 用 探索 式 测试 ， 回 归 测 试 采 用 自动 化 
方式 。 至 于 版 本 验收 测试 ， 如 果 团 队 采 用 ATDD、BDD， 并 且 有 人 手 编 
写 自动 化 测试 脚本 ， 那 么 可 以 用 测试 自动 化 方式 进行 验收 测试 。 否 则 ， 
探索 式 测试 也 可 以 用 来 对 用 户 故 事 进行 验收 并 且 进 行 系统 端 到 端的 验 

TE 








探索 式 测试 侧重 功能 测试 ， 既 包括 单个 用 户 故 事 的 验证 ， 叉 包括 站 
到 端的 功能 交互 的 验证 ， 同 时 在 测试 中 兼顾 兼容 性 、 安 全 性 和 易 用 性 
等 。 我 们 可 以 根据 产品 特点 和 项 目 风险 计划 一 些 专 项 测试 ， 如 从 易 用 性 
和 用 户 体验 的 角度 对 UI 进 行 探 索 式 测试 ， 或 者 专门 针对 各 种 外 接 设备 进 
行 兼 容 性 测试 。 有 时 ， 还 需要 计划 一 些 功 能 性 的 专项 测试 ， 如 系统 临界 
状态 下 的 边界 测试 ， 以 及 与 操作 系统 本 身 、 第 3 方 应 用 相关 的 交叉 事件 
测试 。 探 索 式 测试 对 有 些 产 品 比较 重要 ， 如 移动 端 App， 但 是 又 难以 实 
现 测 试 上 自动 化 。 











由 此 可 见 ， 从 测试 计划 到 测试 子 目 标 并 没有 一 个 严格 的 划分 标准 ， 
而 是 根据 项 目 所 处 的 上 下 文 分 解 成 合适 的 子 目标 。 不 过 这 本 来 就 符合 基 
于 上 下 文 驱动 的 测试 思维 没有 最 佳 实践 ， 只 有 优秀 实践 。 








因此 ， 这 里 列 出 测试 计划 可 以 分 解 的 测试 子 目 标 种 类 ， 在 实践 中 ， 
读者 还 需要 根据 项 目的 上 下 文具 体 分 析 如 何 分 解 。 








。 新 功能 特性 测试 子 目标 : 验证 单个 新 的 用 户 故 事 是 否 符合 验收 标 
准 。 


。 功能 交互 测试 子 目标 : 验证 新 的 功能 特性 之 间 ， 以 及 与 已 有 功能 特 


性 的 交互 是 人 否 正常 。 这 里 既 包 括 对 于 茶 个 Epic 内 功能 之 间 的 交互 ， 
如 课程 购买 ， 又 包括 涉及 多 个 Epic 的 面向 业务 的 端 到 端的 测试 ， 如 
一 个 用 户 从 搜索 诬 程 到 购买 ， 再 到 学 习 的 综合 应 用 场景 。 


各 类 专项 测试 子 目 标 : 包括 非 功能 性 的 ， 如 验证 被 测 系统 的 易 用 
性 、 安 全 性 和 兼容 性 等 ， 还 包括 功能 性 的 ， 如 验证 被 测 系统 在 边界 
状态 、 复 杂 网 络 环境 等 条 件 下 的 系统 功能 是 人 否 正常 。 


这 样 ， 测 试 计划 分 解 出 的 测试 子 目标 如 图 6-28 所 示 。 





边界 测试 
子 目 标 


新 功能 特性 功能 交互 兼容 性 测试 易 用 性 测试 
测试 子 目 标 测试 子 目 标 子 目标 子 目标 





图 6-28 ”测试 计划 分 解 为 测试 子 目标 示意 
6.8.4 测试 子 目 标 进一步 分 解 为 会 话 


测试 子 目标 需要 进一步 分 解 为 耕 干 个 会 话 ， 即 在 90 分 钟 左右 可 以 完 
成 具体 的 测试 任务 。 实 际 上 ， 对 于 时 间 没 有 严格 的 要 求 ，1 一 2 小 时 之 内 
的 时 间 都 可 以 。 每 个 会 话 管理 一 个 特定 的 测试 目标 或 任务 ， 一 系列 会 话 
相互 支持 ， 有 机 地 组 合 在 一 起 ， 周 密 地 完成 整个 产品 的 各 项 测试 子 目 


标 。 


对 于 新 功能 特性 测试 子 目 标 ， 一 个 会 话 可 以 针对 一 个 用 户 故 事 的 几 
个 应 用 场景 开展 测试 。 有 的 用 户 故 事 比 较 小 ， 几 小 时 就 可 以 完成 测试 ; 





有 的 用 户 故 事 比 较 大 ， 测 试 可 能 需要 几 天 时 间 ， 对 应 的 场景 也 会 比较 
多 ， 需 要 根据 用 户 故 事 的 场景 复杂 上 度 分 解 成 各 和 干 个 会 话 共 同 完成 对 用 户 
故事 的 场景 履 靖 ， 如 图 6-29 所 示 。 





新 功能 特性 
测试 子 目标 




















图 6-29 测试 子 目标 到 会 话 分 解 示意 图 


从 时 间 安 排 上 来 说 ， 一 个 测试 会 话 是 90 分 钟 左右 ， 那 么 可 以 为 测试 
人 员 一 天 计划 3~4 个 测试 会 话 ， 在 每 个 测试 会 话 结束 后 ， 测 试 人 员 填 写 
会 话 表 ， 并 及 时 问 测 试 负 责 人 进行 口头 汇报 ， 也 可 以 上 午 集 中 进行 一 
次 ， 下 午 集中 进行 一 次 ,但 最 好 当天 完成 测试 任务 的 口 尖 汇报 。 这 样 的 
方式 体现 了 SBTM 中 的 面对面 沟通 机 制 ， 又 一 次 表明 了 探索 式 测试 和 敏 
捷 的 价值 观 是 一 致 的 。 


对 于 每 个 会 话 ， 震 要 事先 定义 清楚 其 体 的 测试 任务 、 目 标 ， 以 及 需 
要 准备 的 数据 、 环 境 等 ， 然 后 在 章程 里 进行 描述 ， 侧 重 描述 测试 什么 
哪些 测试 点 ) 、 如 何 测试 和 测试 目标 。 但 与 测试 用 例 相 比 ， 其 层次 是 
不 一 样 的 ， 在 上 文 我 们 介绍 探索 式 测试 和 基于 脚本 的 测试 的 关系 时 曾经 





说 过 ， 当 基于 脚本 的 测试 中 的 脚本 粒度 越 来 越 粗 的 时 候 ， 它 正副 近 探 索 
式 测试 。 章 程 就 可 以 看 作 粗 粒度 的 脚本 ， 站 在 更 高 层次 上 指导 一 次 90 分 
钟 左右 的 测试 ， 而 一 个 测试 用 例 执行 时 间 往 往 是 5~~10 分 钟 ， 其 至 更 
短 。 因 此 ， 章 程 的 粒度 更 粗 ， 不 需要 具体 描述 测试 步骤 ， 只 列 出 需要 执 
行 的 测试 场景 或 要 点 等 。 如 图 6-30 所 示 是 一 个 测试 章程 的 格式 的 示例 ， 
可 以 用 清单 (checklist) 格式 ， 也 可 以 用 思维 导 图 方式 。 








[会 话 ID 和 名 称 | ”满足 唯 _ 性 








被 测 功能 名 称 、 场 景 、 
「 雪 洁 .二 各 nk: 1] 人 环境 ， 滞 的 用 户 
| 事先 准备 的 测试 数据 | 一 一 圭 题 /角色 主题 /角色 } 或 扮 9 用 户 角 色 


测试 判断 依据 | 一 测试 章程 | 这 日 款 | 











为 需要 的 初始 环境 
[县 体 的 测试 活动 本 il:a 





用 户 故事 及 验收 标准 ， 根据 功能 特性 对 客户 的 价 
测试 计划 ， 设 计 文档 等 。 「 eare 1 质量 风险 判 师 得 到 的 执行 优先 级 

















图 6-30 ”测试 章程 的 格式 示例 











在 探索 式 测试 中 ， 每 个 会 话 相 对 独立 ， 这 时 采用 角色 扮演 方式 来 模 
拟 客 户 的 业务 处 理 或 操作 思路 会 比较 好 。 例 如 ， 对 于 拉 色 教育 App 的 测 
试 ， 读 者 可 以 扮演 新 用 户 、 己 经 购买 过 课程 的 用 户 、 课 程 编辑 人 员 、 专 
栏 讲师 和 参加 课程 分 享 的 用 户 等 角色 。 每 个 会 话 一 般 由 单个 人 独立 完 
成 ， 或 者 根据 需要 两 个 人 一 起 结对 测试 。 例 如 ， 有 经 验 的 测试 人 员 带 着 
新 手 一 起 完成 一 个 会 话 ; 又 如 ， 两 个 人 配合 进行 测试 (如 对 于 视频 会 议 
ee G00 关于 角色 扮演 、 场 景 控 
掘 ， 将 会 在 下 文 详细 介 








在 采用 SBTM 进 行 管理 的 过 程 中 ， 我 们 经 和 常会 及 现 原 来 的 会 话 分 解 
需要 调整 ， 有 的 会 话 太 大 ， 一 次 做 不 完 ， 需 要 后 续 拆 解 成 两 个 ， 或 者 ， 


有 的 会 话 已 经 对 茶 个 功能 及 其 交互 功能 都 做 了 测试 ， 则 其 他 只 涉及 同样 
功能 及 其 交互 功能 的 会 话 束 可 以 减 挥 。 这 也 是 对 于 测试 计划 进行 动态 调 


整 的 过 程 。 
6.9 ”一 个 应 用 SBTM 的 真实 案例 
在 本 节 中 ， 我 们 继续 以 在 线 教育 App 为 例 进行 介绍 ， 应 用 SBTM 完 


成 测试 子 目标 和 会 话 的 分 解 ， 以 及 对 探索 式 测 试 的 执行 结果 进行 管理 。 
通过 对 本 节 内 容 的 学 习 ， 读 者 将 掌握 如 何在 真实 项 目 中 实施 SBTM。 








6.9.1 案例 背景 


一 个 采用 Scrum 模 式 的 敏捷 团队 有 3 名 测试 人 员 ， 他 们 负责 对 手机 端 
的 在 线 教育 App 进 行 测试 。 之 前 App 计 划 了 3 个 版 本 ， 第 1 批 功 能 特性 已 
经 交付 ， 相 应 的 软件 版 本 App 1.0 已 经 上 线 。 


总 体 测试 策略 是 探索 式 测 试 加 目 动 化 测试 。 现 在 需要 针对 软件 版 本 
App 2.0 进 行 测 试 。 这 次 交付 定义 了 为 期 4 周 的 迭代 ， 需 要 实现 订单 管 
理 、 拼 团购 买 、 收 益 详 情 、 收 益 提 现 、 课 程 留 言 、 课 程 评 分 和 读 程 分 类 
这 7 个 用 户 故 事 。 用 户 故 事 地 图 如 图 5-10 所 示 。 





团队 采用 目 动 化 测试 对 用 户 故 事 进 行 验收 测试 。 但是， 对 于 新 的 用 
户 故 事 ， 还 是 先 用 探索 式 测试 快速 发 现 缺 陷 ， 随 后 开发 目 动 化 测试 脚 
本 。 


回归 测试 的 自动 化 测试 集 (test suite) 包括 功能 测试 、 性 能 测试 、 
兼容 性 测试 和 安全 扫描 等 。 


在 实际 的 项 目 中 ， 对 于 移动 首 ， 需 要 窗 盖 针对 Android 系 统 的 手机 
和 平板 电脑 、Apple 系 列 手 机 和 平板 电脑 ， 以 及 微 信 小 程序 的 测试 。 本 
案例 以 Android 系 统 的 手机 App 为 例 介绍 测试 子 目 标 和 会 话 的 分 解 。 


6.9.2 ”挑战 在 哪里 


目前 ， 团 队 内 的 测试 人 员 人 数 比 较 少 ， 需 要 手工 测试 的 部 分 又 比较 
多 ， 在 有 限 的 时 间 内 提高 测试 效率 将 会 是 一 个 很 大 的 挑战 。 


相 比 App 1.0，App 2.0 的 UI 设计 改动 比较 大 ， 导 人 有致 UI 上 自动 化 回归 测 
试 脚 本 的 维护 工作 量 不 小 ， 另 外 ， 手 工 测 试 需要 覆盖 UI 的 易 用 性 和 用 户 
体验 需求 。 


对 于 兼 容 性 测试 ， 需 要 测试 的 手机 品牌 、 型 号 、 屏 幕 分 辨 率 ， 以 及 
Android 操 作 系 统 的 版 本 都 比较 多 。 兼 容 性 测试 的 自动 化 测试 覆盖 了 智 
能 授 历 的 兼容 性 需求 ， 在 探索 式 测试 中 ， 还 需要 窗 盖 与 具体 功能 相 结 合 
的 深度 兼容 性 需求 。 本 架 例 需要 支持 4 种 主流 手机 品牌 (华为 、OPPO、 
vivo 和 小 米 ) ， 需 要 支持 的 Android 系 统 版 本 为 Android 10、Android 9 和 
Android 8， 需 要 支持 的 网 络 环 境 为 Wi-Fi、3G、4G 和 5G， 可 见 测试 组 合 
比较 多 ， 任 务 比 较 重 。 

















对 于 安全 测试 ， 我 们 需要 计划 一 些 手 工 的 回归 测试 以 对 安装 包 、 信 





县 加 密 、 手 机 权限 限制 等 方面 进行 调试 。 


一 些 功能 性 的 专项 测试 没有 实现 测试 自动 化 ， 包 括 边界 测试 、 弱 网 
络 测试 、 交 又 事件 测试 ， 因 此 团队 需要 计划 相关 的 回归 测试 。 





6.9.3 测试 子 目标 分 解 的 结果 


在 本 次 迭代 中 ， 采 用 SBTM 一 共 分 解 出 下 列 4 项 测试 子 目 标 ， 并 按 
照 优先 级 和 执行 的 先后 顺序 进行 了 排序 。 





1) 新 功能 测试 子 目 标 : 验证 当前 版 本 新 的 用 户 故 事 是 否 符合 验收 
标准 ， 并 包含 深度 兼容 性 的 验证 。 


2) 功能 交互 测试 子 目标 : 重点 是 验证 在 新 的 功能 特性 之 间 ， 以 及 
新 的 功能 特性 和 已 有 的 功能 特性 交互 时 工作 是 否 正 常 ， 测 试 过 程 中 需要 
兼顾 深度 兼容 性 的 验证 。 


3) 专项 测试 子 目标 : 新 功能 的 专项 测试 主要 测试 易 用 性 ， 验证 新 
的 UI 的 易 用 性 《用 户 体 验 ) ， 快 速 验证 界面 的 实现 与 其 设计 是 人 否 一 致 。 
这 部 分 需要 依靠 测试 人 员 的 主观 判断 ， 因 此 计划 进行 探索 式 测试 。 在 测 
试 过 程 中 侧重 于 不 同 屏幕 分 辨 率 手 机 上 的 界面 的 美观 性 ， 以 及 界面 中 的 
功能 的 可 操作 性 ， 兼 顾 兼 容 性 测试 。 

















4) 专项 回归 测试 子 目标 : 古 专项 测试 的 回归 测试 ， 包 括 交 又 事 件 
测试 、 弱 网 络 测 试 、 边 界 测试 和 安全 测试 。 


6.9.4” 几 个 典型 的 会 话 


每 个 测试 子 目 标 包 含 耕 干 个 会 话 ， 分 解 结果 如 图 6-31 所 示 。 由 于 篇 
幅 有 限 ， 因 此 每 项 子 目标 中 只 给 出 部 分 会 话 。 








会 话 101: 收益 详情 中 用 户 查看 待 入 账 信息 的 场景 

会 话 102， 收 益 详情 中 用 户 查看 推广 策略 并 添加 微 信 的 操作 
会 话 103: 收益 详情 中 用 户 查 看 交易 流水 的 场景 

会 话 111: 收益 提现 中 App 用 户 进行 现金 提现 的 各 种 操作 

| 会 话 112: 收益 提现 中 微 信 公众 号 用 户 在 App 中 进行 提现 的 各 种 操作 





- 


0 新 功能 测试 
子 目 标 








| 会 话 113; 课程 留言 中 用 户 对 已 购 课 程 进行 留言 的 操作 





en 


会 话 211: 用 户 分 享 课程 并 管理 收益 的 场景 
会 话 212: 一 个 新 用 户 购买 、 学 习 课程 ， 并 对 课程 评分 的 场景 
功能 交互 测试 | | 会 话 213， 留言 管 理 的 应 到 端的 场景 
包子 目标 
会 话 214: 用 户 购买 课程 的 各 种 支付 场 时 


会 话 215: 用户 账户 管理 的 场景 





























测试 计划 





会 话 311: 一 个 用 户 在 选课 界面 中 的 各 种 操作 


@ 专项 测试 | | 会 二 312: 一 个 用 户 在 “我 的 界面 ”中 的 各 种 操作 
子 目标 呈 


会 话 411， 用 户 使 用 该 App 过 程 中 同时 使 用 















其 他 App 的 场景 
4.1 交叉 事件 测试 | 会 话 412: 用 户 使 用 该 App 过 程 中 受到 系统 、 
网 络 干扰 的 场 时 









4.2 弱 网 络 测试 
4.3 边界 测试 
4.4 安全 测试 


@ 专项 回归 测试 
子 目标 


图 6-31 App 2.0 中 测试 子 目标 的 分 解 结 






下 面 是 测试 计划 分 解说 明 。 

1) 对 于 新 功能 测试 子 目标 ， 每 个 用 户 故 事 定义 了 按照 不 同 用 户 场 
景 划分 的 几 个 会 话 。 这 部 分 测试 会 话 需 要 在 本 次 过 代 中 对 用 户 故事 进行 
持续 测试 ， 如 图 6-32 所 示 ， 是 为 谍 程 留言 这 个 会 话 定义 的 章程 。 








粘贴 一 段 带 有 大 量 图 片 的 文字 ; 
网 络 环境 在 3G、4G、Wi-Fi 和 会 话 113: 课程 留言 中 用 户 对 已 









































飞行 模式 之 间 切 换 变数 、 会 话 |D | 购 课程 进行 留言 的 操作 
风险 利 名 称 
生成 3 个 已 购 课程 ， 课 程 内 添 个 用 户 使 用 课 功能 
若干 精 选 留言 ee 月 用 课程 留言 了 
加 若干 精 选 留 测试 数据 对 已 购 购 课程 进行 留言 








留言 添加 并 显示 正确 ; 
湛 加 超过 字 到 限制 所 言 会 收 


到 提示 添 力 


可 以 对 我 的 留言 进行 管理 - 添加 讨论 
关 全 证 已 可 以 多 和 
判断 依据 | | 洽 证 是 否 可 以 给 课 各 留言 

总 章节 给 r 】 ”一 E 抹 合 手 所 和 网络 的 尊 宫 入 

SR Fe 测试 章程 | 测试 目标 ] 

新 的 任意 言 ; 









本 人 选 留言 
点 赞 、 添 加 评论 























手机 型 号 为 Huawei Mate30， 
系统 为 Android10.0.0， 网 络 
为 Wi-Fi; 

手机 型 号 为 OPPO A8， 系 统 
[nm | 为 Android9.1.0， 网 络 为 4G 


初始 设置 











和 在 
手机 上 以 相同 ] 账 号 登录 并 查看 


“我 的 留言 ” 测试 活动 











高 优先 级 ， 课 程 留言 功能 可 以 力 
强 讲师 和 学 员 之 间 的 互动 ， 并 且 


| 
信 克 级 | 提供 信息 供 潜在 课程 学 员 人 参考 





同类 在 线 教育 App 的 留言 功能 、 测 斌 
计划 中 的 测试 风险 


















图 6-32 会话 113 测 试 章程 





2) 对 于 功能 交互 测试 子 目标 ， 我 们 列 出 了 5 个 分 解 出 来 的 会 话 窗 盖 
功能 交互 的 场景 ， 并 且 从 不 同 的 角色 角度 进行 了 场景 组 合 。 例 如 “会 话 
212: 一 个 新 用 户 购买 、 学 习 谍 程 ， 并 对 谍 程 评分 ”， 会 履 盖 用 户 注册 、 
登录 、 谍 程 搜 索 、 文 付 、 课 程 学 习 和 评分 等 多 个 场景 ， 又 如 会 话 213， 
在 用 户 故 事 测试 中 ， 只 罗兰 了 作为 用 己 对 谍 程 进行 留言 的 相关 场景 。 在 
系统 功能 测试 中 ， 增 加 了 课程 编辑 和 讲师 的 角色 ， 与 用 户 一 起 完成 从 添 
加 留言 、 将 留言 选 为 精 选 留言 到 页 面 显 示 等 整个 留言 管理 过 程 ， 并 且 有 
的 操作 是 在 个 人 计算 机 上 完成 的 ， 相 关 测 试 章程 如 图 6-33 所 示 。 





粘贴 一 段 带 有 大 量 图 片 的 文字 ; 








网 络 环境 在 3G、4G、Wi-Fi 
和 飞行 模式 之 间 切 换 变数 、 会 话 ID | 会 话 213: 留言 管理 的 端 到 应 的 场景 
风险 和 名 称 | 


生成 不 同 的 角色 : 若干 个 用 户 ， 
et 3 个 课程 讲师 。 
创 违 3 个 课程 ， 用 户 购买 了 其 
中 1 个 课程 。 每 个 个 课程 里 都 添 
加 了 以 不 同 用 户 身份 添加 的 用 户 、 课 程 编 辑 、 课 程 讲师 在 贸 

言 管理 的 场景 中 进行 不 同 的 操作 


精 选 留言 ] 测试 数据 











用 户 在 “我 的 留言 ”里 可 以 看 
到 留言 已 添加 并 且 显 示 正 确 。 
可 以 删除 自己 添加 的 留言 
课程 编辑 能 够 对 所 有 课程 的 留 
言 进行 管理 并 评论 ; 

课程 讲师 只 能 对 自己 的 误 程 内 


的 留言 进行 管理 并 评论 [天 电信 所 测试 章程 


作为 用 户 ， 人 个 卫 术 PT 
并 对 已 购 购 、 未 购 课 程 添加 若干 


和 对 








/课程 讲师 是 否 可 以 
在 PC 站 澳 管 理 留言 








测试 目标 





小 米 9 Pro 5G，Android 9.1.0， 






留言 加 言 oa 

作为 i 吕 ， 在 笔记 本 电 朋 网 络 为 5G; ee 二 

上 对 留言 了 管理 : 添加 /删除 Dell 灵 越 5000 笔 记 本 电脑 ， 
Windows 10, Microsoft Edge:; 


Huawei MateBook 12 笔 记 本 电 
脑 ，Windows 8.1，Chrome 


精 选 留言 ， 添 加 评论 ; 
作为 讲师 ， 对 留言 进行 管理 : 
添加 / 谢 除 精 选 留言 ， 添 加 评论 





初始 设置 








同类 在 线 教育 App 的 留言 功能 、 高 优先 级 ， 增 加 学 员 和 讲师 之 间 的 
测试 计划 中 的 测试 风险 互动 






HT 


图 6-33 ”会 话 213 测 试 章 利 





3) 对 于 专项 测试 子 目 标 ， 针 对 UI 的 易 用 性 给 出 两 个 会 话 示例 ， 
别 对 “选读 界面 ?和 ?我 的 界面 ?进行 汕 试 。 针 对 拉 勾 教育 App， 读 者 可 以 
想 想 是 否 需 要 增加 新 的 会 话 ， 如 不 同 的 用 户 角 色 。 


人 心 DY 





4) 对 于 专项 回归 测试 子 目 标 ， 前 面 已 经 说 过 ， 需 要 对 3 项 专项 测试 
进行 手工 的 回归 测试 。 图 6-34 古 交叉 事件 测试 中 的 会 话 411 的 革 程 ， 在 
这 个 会 话 里 ， 需 要 考虑 多 个 App 同 时 运行 、 交 倚 切 换 ， 以 及 共用 视频 、 


音频 设备 等 场景 。 







在 多 个 App 之 间 频 去 切换 又 
机 系统 本 身 及 






































未 知 ， 有 可 能 重启 、 、 会 话 411， 用户 使 用 App 过 程 中 同时 
其 他 App 闪 退 等 现象 变数 、 _ | 会 话 ID | _ 使 用 多 个 其 他 App 的 场景 
_ | 风险 ] i | 和 名 称 
生成 不 同 的 角色 : 若干 个 用 
户 ，1 个 课程 编辑 ，3 个 课程 
讲师 。 验证 在 用 户 对 App 进 行 前 后 台 切 
创建 3 个 课程 ， 用 户 购买 了 换 、 多 个 App 同 时 运行 时 是 否 影 
其 中 1 个 课程 。 每 个 课程 里 [Re |_ 响 正常 功能 
都 添加 了 以 不 同 用 户 身份 添 ( | 主题 /角色 | 
加 的 精 选 留言 r ) 
加 的 精 选 留言 [汉江 数据 
医 不 会 消失 ; 
页 、 音 频 可 以 正常 切换 使 用 [3 夺 依 据 加 | 网 
本本 ao 
多 个 App 同 时 运行 ， 交 蔡 切换 











测 a | -测试 目标 } 
再 回 到 被 测 App， 检 | 
查 是 否 停留 在 上 一 次 操作 界面 ， T 
功能 及 状态 是 否 正 常 ; 





vivo 5S, Android 9.1.0, Wi-Fi 








[初始 设置 | 





低 优 先 级 ， 在 上 个 交付 的 软件 版 本 
中 已 进行 全 面 测试 ， 本 次 作为 回归 
测试 任务 





测试 活动 | 








测试 计划 中 的 测试 风险 和 交叉 事件 
测试 目标 











图 6-34 ”会 话 411 测 试 章程 





6.9.5 ”会 话 表 


至 此 ， 我 们 已 经 完成 了 测试 子 目标 和 会 话 的 分 解 ， 以 及 章程 的 定 
义 ， 相 当 于 明确 了 每 一 次 探索 式 测试 要 完成 的 具体 的 测试 任务 。 在 下 一 
步 ， 我 们 把 会 话 任 务 分 配给 每 个 测试 人 员 执 行 ， 具 体 的 测试 场景 需要 测 
试 人 员 在 汕 试 过 程 中 进行 设计 ， 也 区 是 在 一 次 会 话 中 循环 进行 设计 、 执 
行 、 分 析 和 学 习 ， 第 7 章 中 将 详细 介绍 。 这 里 先 介绍 一 下 与 SBTM 相 关 
的 内 容 ， 也 就 是 在 一 次 会 话 结束 后 探索 式 测 试 要 做 的 事情 。 








根据 SBTM， 在 探索 式 测试 执行 完 一 个 会 话 后 ， 测 试 人 员 需 要 记录 
一 个 会 话 表 ， 也 就 是 会 话 结果 报告 。 我 们 只 需要 遵循 简单 的 格式 ， 如 利 





用 “#” 标 记 各 项 内 容 ， 就 可 以 产生 易于 自动 分 析 的 会 话 表 ， 然 后 通过 特 
定 工具 进行 汇总 ， 生 成 总 的 测试 报告 。 如 图 6-35 所 示 是 会 话 113 训 试 结 
束 后 的 会 话 表 ， 要 填写 的 内 容 还 是 比较 简单 的 。 








图 6-35 ”会 话 113 的 会 话 表 


下 面 是 对 会 话 表 中 的 各 项 内 容 的 简单 说 明 。 
。#Area: 测试 的 范围 ， 即 进行 了 哪些 功能 点 或 平台 的 测试 。 
e #Duration: 总 的 测试 时 间 。 


。#Test、#Bug 和 #Setup: 分 别 表示 实际 测试 、 缺 陷 报告 ， 以 及 环境 设 
置 这 3 项 各 自 花 费 的 时 间 ， 可 以 用 来 估算 测试 速度 ， 评 估 测 试 效 
紊 。 例 如 ， 我 们 能 够 了 解 用 在 测试 执行 的 平均 时 间 有 和 多少、 是 否 需 
要 提醒 某 个 测试 人 员 分 析 缺 陷 的 时 间 太 长 了 。 


。 #ChartevOpportunity: 规定 的 测试 任务 时 间 占 比 /新 发 现 的 测试 区 域 
时 间 占 比 。 例 如 ，80/20 是 指 80% 的 时 间 用 在 规定 的 测试 任务 ，20% 
的 时 间 用 来 测试 新 发 现 的 区 域 。 一 方面 ， 尽 量 完 成 章程 规定 的 任 
务 ; 另 一 方面 ， 如 果 发 现 更 具有 风险 的 区 域 ， 可 以 跳出 事先 定义 的 
任务 进行 测试 ， 目 的 是 发 现 更 多 的 缺陷 ， 降 低 质 量 风险 。 











#Notes: 测试 人 员 的 感想 ， 包 括 怎么 测试 的 、 为 什么 这 样 测试 、 哪 
些 地 方 质量 不 够 好 ， 以 及 哪些 地 方 需要 加 强 测试 等 。 


。#Bug 1003: 确认 是 缺陷 的 记录 。 


。 #ssues: 问题 或 疑问 ， 但 不 能 确定 是 不 是 缺陷 的 记录 。 


6.9.6 ”口头 汇报 





只 有 文字 报告 还 不 够 ， 测 试 人 员 最 好 及 时 问 测 试 负责 人 口头 汇报 测 
试 情况 。 既 然 有 文字 报告 了 ， 那 么 为 什么 还 需要 口头 汇报 呢 ? 这 其 实 可 
以 类 比 一 下 简历 和 面试 的 关系 ， 我 们 都 知道 ， 再 好 的 简历 也 不 能 取代 面 
试 。 认 真 的 面试 官 事 先 会 仔细 阅读 简历 ， 然 后 准备 儿 个 问题 ， 以 便 在 面 
试 中 对 候选 人 进行 更 深入 的 了 解 。 不 仅 如 此 ， 口 头 汇报 也 是 一 次 共同 反 
思 的 过 程 ， 测 试 负责 人 通过 提问 发 现 测试 计划 的 问题 、 测 试 执行 的 问 
题 ， 思 考 下 一 步 如 何 改 进 。 测 试 人 员 也 利用 交流 的 机 会 提出 自己 的 顾虑 
之 处 和 建议 。 





好 的 口头 汇报 ， 可 以 用 "PROOF” (past、result、obstacle、outlook 


和 feeling) 来 措 述 
。 past 《过 去 ) : 这 个 会 话 已 经 做 了 哪些 测试 ? 
。 result (结果) : 在 这 个 会 话 中 达到 了 哪些 具体 的 测试 目标 ? 


。 obstacle〈 障 碍 ) : 测试 没有 做 好 或 做 得 不 够 充分 的 问题 或 障碍 是 
人 


。 outlook (展望 》: 还 需要 做 哪些 测试 ?加 强 哪些 测试 ? 
。feeling (感觉 ) :整体 测试 或 这 部 分 质量 感觉 如 何 ? 


下 面 就 以 会 话 113〈 用 户 对 已 购 课程 进行 留言 的 操作 ) 为 例 模 拟 一 
次 口头 汇报 。 测 试 人 员 戴 维 带 着 已 经 写 好 的 会 话 表 与 测试 负责 人 汤姆 就 
上 午 的 测试 会 话 进 行 了 交流 。 


汤姆 : 章程 中 定义 的 测试 任务 完成 情况 如 何 ? 


戴 维 : 对 于 已 购 谍 程 的 留言 功能 的 各 种 场景 都 做 了 测试 ， 而 且 我 在 
两 部 手机 上 分 别 测试 了 这 些 场 景 


汤姆 : 履 盖 了 哪些 具体 测试 目标 ? 








戴 维 ， 功 能 性 和 兼容 性 的 测试 目标 都 覆盖 了 ， 除 会 话 表 里 记录 的 疑 
问 以 外 ， 没 发 现 其 他 问题 。 


汤姆 : 你 记录 的 那个 问题 为 什么 不 能 确认 是 缺陷 ? 


戴 维 : 没 找到 相应 的 测试 依据 。 在 用 户 故 事 的 验收 标准 中 ， 没 有 明 
确 是 不 是 可 以 添加 图 片 ， 我 建议 找 业 务 人 员 和 开发 人 员 一 起 确认 ， 补 充 
Ei 


汤姆 : 好 的 。 微 信 小 程序 的 课程 管理 功能 也 在 开发 中 ， 由 加 文 团队 
负责 测试 ， 留 言 同步 属于 功能 交互 的 测试 目标 ， 你 有 什么 建议 ? 


戴 维 : 我 建议 我 们 这 边 增 加 一 个 会 话 任 务 专门 测试 一 下 App 和 微 信 
小 程序 的 功能 交互 ， 不 仅 是 留言 。 


汤姆 : 好 的 ， 我 们 找 加 文 丙 量 一 下 ， 然 后 更 新 我 们 的 测试 计划 和 会 
话 计划 。 


通过 这 次 对 话 ， 汤 姆 和 戴 维 发 现 了 App 和 微 信 小 程序 的 功能 交互 需 
要 增加 测试 ， 测 试 计划 和 会 话 计 划 都 要 做 相应 的 修改 。 


一 位 从 事 软件 测试 的 工程 师 对 我 说 :“ 我 以 前 一 直觉 得 探索 式 测试 
很 高 深 现在 我 才 知 道 ， 原 来 我 们 一 直 都 在 进行 探索 式 测试 。 由 于 我 们 
的 测试 用 例 粒 度 比较 粗 ， 没 有 具体 的 测试 步 又， 因此 一 个 用 例 需 要 执行 
1 一 2 小 时 。? 也 许 有 些 读 者 一 直 进 行 探 索 式 测试 ， 只 是 自己 没有 意识 到 
而 已 ; 




















同时 ， 他 又 告诉 我 ， 他 们 的 团队 一 直 沿 用 测试 用 例 通 过 率 作为 衡量 


软件 质量 的 一 个 指标 ， 但 是 项 目前 期 基本 上 没有 测试 用 例 能 标 
成 "Pass"。 他 们 的 测试 负责 人 需要 了 解 进 度 并 编写 报告 ， 只 能 参考 缺陷 
报告 ， 并 且 找 每 个 测试 人 员 有 具体 了 解 测试 情况 。 





我 很 期 待 ， 在 他 了 解 了 SBTM 以 后 ， 是 不 是 会 说 :“ 原 来 我 们 也 一 直 
在 应 用 SBTM， 只 是 没有 这 么 正规 。” 他 需要 进一步 思考 如 何 才 能 把 
SBTM 的 理论 和 实践 相 结 合 ， 这 样 才 能 把 探索 式 测试 做 得 更 好 。 





6.10 ”敏捷 测试 分 析 与 计划 的 案例 











作为 本 章 的 最 后 一 他， 让 我 们 运用 前 面 学 到 的 测试 分 析 和 训 试 计划 
的 知识 ， 用 一 个 案例 来 体会 如 何 从 测试 分 析 开 始 一 步 步 制定 出 测试 计 
划 。 我 们 仍然 沿用 在 线 教育 App 第 二 次 欠 代 的 软件 开发 项 目 ， 也 就 是 将 
App 2.0 作 为 案例 ， 项 目 背景 可 参考 6.9 节 中 的 相关 介绍 。 














本 节 的 目标 是 为 App 2.0 制 定 一 个 测试 计划 ， 包 括 以 下 几 个 步 又 : 


1) 基于 启发 式 测 试 策略 的 分 析 模 型 进行 测试 分 析 ， 收 集 项 目的 上 
下 文 信息 ; 





2) 根据 项 目 目标 和 质量 标准 制定 测试 目标 ; 





3) 根据 上 下 文 信息 ， 完 成 测试 需求 分 析 ， 明 确 测试 范围 ， 包 括 功 
能 性 测试 和 非 功 能 性 测试 ; 


4) 根据 收集 的 项 目 上 下 文 信息 进行 风险 分 析 ， 识 别 出 排名 前 5 的 测 


试 风 险 并 制定 预防 /处 理 措施 
5) 制定 基于 风险 的 测试 策略 ; 


6) 基于 训 试 目标 和 测试 策略 等 内 容 制订 测试 计划 。 


6.10.1 信息 收集 


我 们 采用 局 发 式 测试 策略 的 分 析 模 型 ， 从 产品 元 素 、 质 量 标准 、 项 
背景 、 可 用 的 测试 技术 4 个 方面 收集 上 下 文 信息 并 分 别 进行 归纳 整 
理 ， 如 图 6-36 所 示 。 在 归纳 整理 过 程 中 ， 主 要 聚焦 App 2.0 版 本 发 生 了 哪 
些 变 化 (与 App 1.0 版 本 比较 ) ， 从 而 了 解 到 变化 主要 发 生 在 质量 标准 
和 项 目 背景 这 两 个 部 分 : 在 质量 标准 中 ， 要 考虑 用 户 大 幅 提 升 之 后 在 性 
能 方面 的 挑战 ; 在 项 目 背景 中 ， 单 元 测试 覆盖 率 只 有 40%， 开 发 人 员 和 

测试 人 员 有 变动 。 这 些 都 是 在 后 续 需 要 识别 、 分 析 的 测试 风险 。 


系统 结构 : Android、iOS Native App 
功能 模块 : 同 软件 版 本 1.0 




















功能 : 满足 7 个 用 户 故 事 验收 标准 ， 各 功能 模块 间 交 互 工作 正常 
安全 性 、 稳 定性 、 兼 容 性 、 耗 电量 、 流 量 等 质量 指标 同 1.0 


性 能 ; 增 量 升级 的 安装 包 大 小 <40M， 升 级 时 间 <10s， 其 他 性 能 指标 同 
软件 版 本 1.0 











项 目 目标 是 如 期 交付 包括 7 个 新 的 用 户 故事 的 软件 版 本 2.0 并 满足 质量 标准 


7 个 用 户 故 事 ( 按照 优先 级 从 高 到 低 ) : 订单 管理 、 拼 团 购买 、 收 益 详情 、 
| 收益 提现 、 课程 留言 、 课 程 评分 和 课程 分 类 


| 次 迭代 为 期 4 周 


提单 元 测试 代码 覆盖 率 40% ， 功 能 自动 化 测试 ( 需求 ) 覆盖 率 50% 
(UIl30%,， 接口 20% ) 


【1 名 测试 人 员 为 新 加 入 团队 的 成 员 ， 有 2 年 测试 经 验 ， 无 探索 式 测试 经 验 
用 户 界 面 设计 有 较 大 改动 


App2.0 
试 分 析 


Er 
史 














代码 静态 分 析 ， 单 元 测试 及 代码 桥 盖 率 
需求 评审 、 设 计 评审 
自动 化 测试 : UI、 接 口 测 试 、 兼 客 性 测试 、 安 全 扫描 
持续 集成 环境 







可 用 的 测试 技术 
































图 6-36 ”上 下 文 信息 收集 及 整理 


6.10.2 测试 目标 





从 测试 分 析 中 得 到 项 目的 目标 是 在 4 周 内 如 期 交付 App 2.0， 包 括 7 
个 新 的 用 户 故 事 ， 对 于 安全 性 、 稳 定性 、 兼 容 性 、 耗 电量 和 流量 等 方面 
的 质量 标准 与 App 1.0 相 同 。 结 合 其 他 因素 ， 如 目前 的 测试 自动 化 率 、 
时 间 和 人 员 的 情况 ， 可 以 制定 如 图 6-37 所 示 的 测试 目标 。 在 图 6-37 中 ， 
测试 目标 按照 4 项 测试 子 目 标 分 别 给 出 具体 的 目标 ， 这 4 个 子 目 标 分 别 是 
单元 测试 子 目标 、 功 能 测试 子 目 标 、 人 性 能 测试 子 目 标 和 专项 回归 测试 子 
目标 。 





1) 单元 测试 子 目标 定义 为 单元 测试 的 代码 行 履 盖 率 在 70% 以 上 。 


2) 功能 测试 子 目 标 包括 新 需求 的 测试 和 回归 测试 : App 2.0 的 新 需 
求 的 测试 覆盖 率 为 100%， 回 归 测 试 目 动 化 率 要 达到 1009%6。 


3) 性 能 测试 子 目 标 既 包括 新 需求 ， 又 包括 回归 训 试 。 由 于 软件 升 
级 属于 新 需求 ， 因 此 性 能 测试 在 新 的 软件 包 安 疼 、 升 级 中 的 需求 履 兰 率 
应 达到 1009%， 包 括 升 级 时 间 和 软件 包 安 装 时 间 等 。 其 他 性 能 测试 的 回 
归 测 试 目 动 化 率 目标 为 100%。 





4) 专项 回归 测试 子 目标 的 测试 项 包括 稳定 性 、 安 全 性 、 易 用 性 、 
耗 电 量 、 流 量 、 交 叉 事件 、 弱 网 络 、 边 界 等 。 稳 定性 测试 和 基础 兼容 性 
测试 的 自动 化 率 目 标 为 100%; 其 他 专项 测试 基本 是 手工 测试 ， 其 手工 
测试 覆盖 率 目 标 是 达到 60%， 最 高 为 66%， 最 低 为 50%， 并 且 优 先 级 为 











P1 的 测试 用 例 应 100% 执 行 。 





七 三 行 桥 盖 率 在 709% 上 
单元 测试 子 目标 代码 行 覆 盖 率 在 70% 以 上 









新 需求 的 测试 竹 盖 率 为 100% 


功能 测试 了 目标 上 回归 测试 自动 化 率 为 100% 






软件 升级 性 能 需求 覆盖 率 为 100% 
性 能 测试 子 目 标 [站 | 回归 测 汪 自动 化 率 为 100% 








测试 目标 


测试 项 : 稳定 性 、 安 全 性 、 易 用 性 、 耗 电量 、 流 量 、 
交叉 事件 、 弱 网 络 、 边 界 等 


手工 测试 中 优先 级 为 P1 的 测试 用 例 应 1009% 执 行 








最 低 : 50% 


专项 回归 测试 子 目标 | 人 
| 总 体 手工 测试 移 盖 率 | 目标 ,60% 


| 最 高 ，65% 








| 稳定 性 测试 和 基础 兼容 性 测试 自动 化 率 为 100% 


图 6-37 ”App 2.0 测 试 目标 


6.10.3 ”通过 测试 分 析 得 到 测试 范围 


通过 测试 分 析 过 程 中 收集 的 信息 ， 可 以 得 出 如 下 测试 范围 : 

1) 新 功能 特性 ， 包 括 7 个 用 户 故事 的 功能 以 及 功能 之 间 的 交互 ; 
2) 新 版 本 的 专项 测试 ， 新 的 软件 包 的 升级 、 安 装 、 局 动 和 弛 载 ; 
3) 已 有 功能 的 回归 测试 ， 验 证 已 有 功能 是 否 受 到 新 的 改动 影响 ; 


4) 功能 性 的 专项 回归 测试 ， 包 括 交 又 事 件 测试 、 弱 网 络 测试 和 边 
界 测 试 ; 


5) 非 功能 性 的 回归 测试 ， 包 括 稳 定性 、 兼 容 性 、 性 能 、 安 全 性 、 


易 用 性 、 耗 电量 和 流量 等 测试 。 


测试 范围 按照 测试 项 进行 了 划分 ， 如 图 6-38 所 示 。 


@@ 课程 留言 






网 课程 评分 
人 @ 拼 团购 买 


用 户 故 事 





功能 交互 
升级 、 安 装 、 启 动 和 扼 载 


交叉 事件 










@@ 系统 内 存 大 于 90% 的 场景 
全 系统 存储 大 于 90% 的 场 殿 
全 飞行 模式 与 非 飞 行 模式 来 回 切 换 的 场景 









边界 情况 












基础 兼容 性 
兼容 性 







会 升级 /安装 ， 安装 包 大 小 、 安 装 时 间 和 升级 时 间 
@@ App 启 动 时 间 
和 @ 页 面 响应 时 间 
鲍 连续 运行 并 使 用 8 小 时 





















全 后 台 运 行 时 耗 电 最 
全 用 户 听课 时 耗 电量 
@@ 用 户 操作 无 听课 时 硅 电 量 











图 6-38 ”App 2.0 的 测试 范围 
6.10.4 根据 测试 分 析 进 行 风 险 分 析 和 控制 


根据 测试 分 析 的 结果 并 应 用 6.3 节 的 知识 ， 分 析 测 试 风 险 并 制定 预 
防 /处 理 措 施 ， 如 图 6-39 所 示 。 这 里 识别 出 排名 前 5 的 测试 有 风险， 按照 风 
险 从 高 到 低 进 行 排序 。 


1) 单元 测试 的 代码 履 盖 率 可 能 达 不 到 70% 的 测试 目标 ， 这 会 导致 
代码 质量 低 、 缺 陷 多 ， 进 而 导致 产品 质量 风险 。 





2) 在 App 2.0 中 ， 用 户 界 面 斋 求 有 较 大 变更 ， 原 来 的 UI 自动 化 测试 
脚本 不 能 直接 执行 ， 会 导致 测试 自动 化 紊 降低 ， 从 而 引起 遗留 重 大 功能 
缺陷 的 风险 。 


需要 兼容 的 手机 品牌 、 型 写 ， 以 及 屏幕 分 辩 率 种 类 太 多 ， 兼 容 
性 测试 不 充分 将 会 导致 产品 出 现 质 量 风险 。 





























能 性 
缺陷 太 多 ， 和 持续 测试 
的 工作 量 大 
党 在 多 只) 测试 不 充分 导致 产品 
荐 在 影响 | 更 到 不 
ma |_ 质量 差 
C3 尺 严 重 
9 六 率 低 于 a 
i 70% . , 
i 2 保证 排名 前 3 的 用 户 故事 
的 单元 测试 代码 犹 盖 率 不 
低 于 70% 
加 强 培 训 
- | 对 泪 益 率 低 的 模块 提 高 测 
pa 试 优先 级 
人 措 询 | 加 强 接口 自动 化 测试 










(aame ) 





亚 《 厅 能 性 





@ 加 玉江 让 | 
加 3 回归 pe f 
任务 重 \ 可 能 性 


兼容 性 测试 不 充分 导 
致 软件 质量 差 





潜在 影响 ) ] 









只 关注 排名 前 4 
的 机 型 








功能 性 标 索 式 测 
斌 兼顾 深度 兼容 


Ft 加 (预防 /处 理 措 施 ) 
务 优先 级 





图 6-39 ”测试 风险 识别 和 控制 措施 


4) 手工 专项 回归 测试 任务 重 ， 在 测试 时 间 紧 张 的 情况 下 ， 专 项 回 
归 测 试 不 充分 ， 会 由 于 遗漏 重大 缺陷 导致 出 现 产 品质 量 风 险 。 





5) 新 的 测试 人 员 的 探索 式 测试 经 验 不 丰富 ， 对 测试 场景 覆盖 不 
足 ， 会 导致 测试 不 充分 、 遗 漏 重 大 缺陷 这 样 的 产品 质量 风险 。 


在 识别 出 的 每 一 个 测试 风险 中 ， 按 照 风险 发 生 的 可 能 性 、 洪 在 影 
啊 、 严 重 性 对 风险 进行 描述 和 分 析 ， 并 且 给 出 预防 /处 理 措施 ， 目 标 是 
尽 可 能 地 消除 、 降 低 或 转移 风险 。 对 于 风险 的 处 理 措施 ， 会 体现 在 接 下 





来 制定 的 测试 策略 中 。 
6.10.5 ”基于 风险 的 测试 策略 


根据 测试 范围 分 析 和 风险 分 析 的 结果 ， 我 们 就 可 以 为 App 2.0 制 定 


测试 策略 ， 如 图 6-40 所 示 。 


新 功能 进行 探索 式 测试 





接口 自动 化 测试 
蔡 一 部 分 UI 自 动 化 测 汇 [全 化 | [| /专项 回归 测 计 
代 昔 一 部 分 UI 自 动 化 测试 Rap | CT 
八 验收 测试 自动 化 





基于 场景 的 测试 方法 






对 新 成 员 进行 培训 ce xl 中 上 > 等 价 类 划分 和 边界 值 
一 一 一 一 一 一 -| 人 员 SA 测试 方法 上 分 析 联 合 优化 
人 RE 
App 2.0 的 t 码 静态 分 析 、 代 码 审 查 
测试 策略 


测试 建 模 自动 化 测试 “人 金字塔” 


Bk TT 
ee BDD 
加 强 接口 测试 _ 测 于 话 柳 (“加强 需 求 评审 
动 化 测 计 \、 和 设计 评审 
自动 化 测试 测试 流程 VTET 申 


测试 右 移 AIB 测 试 






































加 强 单元 测试 





图 6-40 App 2.0 的 测试 策略 


因为 我 们 是 在 App 1.0 的 基础 上 制定 测试 集 略 ， 所 以 重点 是 针对 App 


2.0 的 测试 目标 及 存在 的 测试 风险 在 测试 什么 和 怎么 测试 方面 提出 应 对 


普 施 。 


在 测试 方式 方面 ， 新 功能 采用 探索 式 测试 ， 回 归 训 试 尽量 采用 测试 
自动化， 有 些 回归 测试 不 能 目 动 化 的 就 采用 探索 式 测试 来 履 盖 ， 用 户 故 
事 的 验收 测试 采用 自动 化 的 方式 。 





在 测试 方法 方面 ， 静 态 测试 和 动态 测试 相 结合 。 静 态 测 试 方法 包括 
代码 静态 分 析 和 代码 审查 ， 动 态 测试 方法 主要 采用 基于 场景 的 测试 方 
法 ， 同 时 用 等 价 类 划分 和 边界 值 分 析 等 测试 方法 联合 优化 测试 范围 。 





由 于 我 们 已 经 识别 出 单元 测试 代码 缆 盖 率 低 是 主要 的 测试 风险 ， 因 
此 提出 : 确保 高 优先 级 的 用 户 故 事 的 单元 测试 履 兰 率 达 标 ， 并 且 加 强 接 
口 目 动 化 测试 。 针 对 用 户 界 面 变 更 导致 的 自动 化 测试 京 降低 的 风险 ， 测 
试 休 略 中 规定 : 按照 目 动 化 测试 “金字 塔 * 的 原则 ， 加 强 接口 自动 化 测 
试 ， 以 其 代 丛 一 部 分 UI 目 动 化 测试 ， 同 时， 加 强 单元 测试 尤其 是 高 优先 
级 的 用 户 故 事 的 单元 测试 ， 也 是 为 了 降低 这 一 测试 风险 。 








在 测试 流程 方面 ， 采 用 测试 堪 移 、 测 试 右 移 等 优秀 的 敏捷 实践 。 在 
测试 左 移 中 ， 引 入 BDD， 并 加 强 需求 评审 和 设计 评审 ; 在 测试 右 移 中 ， 
引入 A/B 测 试 。 





6.10.6 ”测试 计划 


现在 我 们 就 可 以 开始 制定 测试 计划 了 。 我 们 已 经 在 前 面 制 定 了 测试 


目标 、 测 试 项 、 测 试 风险 和 测试 策略 ， 禾 盖 了 测试 计划 中 的 大 部 分 内 
容 。 在 此 基础 上 ， 我 们 添加 关于 人 员 安 排 、 测 试 交 付 物 ， 以 及 测试 依赖 
性 /假定 等 内 容 ， 最 后 的 测试 计划 如 图 6-41 所 示 。 


代码 覆盖 率 为 70% 






戴 维 负责 用 户 故事 1~ 













用 户 故事 3 和 功能 交互 禾 盖 率 /需求 莉 盖 率 为 100% 
莉 萨 负责 用 户 故 事 4~ 项 回归 手工 测试 覆 
用 户 故事 7 和 功能 交互 / 由 








汤姆 负责 专项 测试 





功能 性 回归 测试 
自动 化 率 为 100% 
性 能 测试 自动 化 率 
为 100% 
















俐 加 强 单元 测试 

傅 加 强 接口 测试 
网 SBTM+ 探 索 式 测试 
全 只 关心 排名 前 4 的 手机 型 号 


@ 培训 、 指 导 新 员工 








@ 用 户 故事 1~ 
用 户 故事 7 


测试 计划 










@ 升级 、 安 装 、 
启动 和 印 载 

人 @ 单元 测试 多 盖 率 低 

全 功能 回归 测试 黎 羡 率 降低 
和 @ 手 机 品牌 、 型 号 及 
屏幕 分 辩 率 很 多 
@ 手工 专项 回归 测试 任务 重 
全 测试 人 员 的 探索 式 测试 技能 





边界 情况 
























| @ 测试 H 








前 后 端 高 度 依赖 








图 6-41 App 2.0 的 测试 计划 





在 测试 计划 制定 的 过 程 中 ， 首 先 要 明确 测试 目标 ， 因 为 后 续 的 测试 
分 析 、 测 试 案 略 都 是 为 了 更 好 地 实现 测试 目标 。 在 这 个 过 程 中 ， 我 们 采 
用 思维 导 图 的 方式 ， 可 以 很 好 地 支持 发 散 性 思维 和 系统 性 思维 的 运用 ， 
快速 完成 测试 计划 中 的 几 个 关键 环节 : 测试 范围 的 确定 、 测 试 风险 分 





析 、 测 试 案 略 的 制定 ， 以 及 测试 计划 的 制定 。 而 且 ， 测 试 计 划 中 的 每 一 
项 内 容 都 标注 了 优先 级 ， 体 现 了 基于 风险 的 测试 策略 在 敏捷 测试 中 是 不 
可 缺少 的 ， 有 助 于 我 们 更 高 效 地 完成 测试 。 


本 章 小 结 


在 敏捷 开发 模式 下 ， 强 调 持续 交付 、 持 续 测 试 ， 整 个 测试 过 程 是 动 
态 的 ， 因 此 ， 我 们 必须 关注 上 下 文 的 变化 ， 基 于 上 下 文 来 制定 测试 集 
略 。 在 敏捷 测试 中 ， 我 们 仍然 需要 测试 计划 ， 但 更 强调 动态 调整 和 不 断 
优化 。 


在 软件 测试 顺应 和 拥抱 敏捷 模式 的 同时 ， 我 们 也 应 该 充分 认识 到 敏 
捷 所 带 来 的 测试 风险 。 本 章 探讨 了 敏捷 测试 中 4 个 主要 的 测试 风险 : 需 
求 不 明确 、 需 求 频繁 变更 、 时 间 太 紧 ， 以 及 测试 自动 化 的 有 效 性 。 我 们 
在 制定 测试 策略 和 测试 计划 时 应 考虑 适合 自己 所 在 项 目 和 被 测 产品 的 应 
对 措施 。 





敏捷 测试 中 的 手工 测试 应 以 探索 式 测试 为 主 ， 产 品 的 各 项 功能 都 通 
过 探索 式 测试 完成 ， 因 此 需要 SBTM 加 强 对 探索 式 测试 的 计划 和 管理 ， 
通过 流程 保证 测试 任务 的 分 解 、 测 试 报告 的 收集 ， 并 根据 测试 结果 和 测 
试 人 员 之 间 的 交流 及 时 调整 测试 任务 。 








男 外 ， 我 们 需要 提醒 自己 时 刻 关 注 大 的 技术 环境 和 趋势 ， 在 测试 分 
析 和 测试 计划 中 答 试 运用 新 的 测试 技术 。 精 准 调试 可 以 帮助 我 们 根据 代 
码 变 更 选取 回归 测试 范围 ， 分 析 新 增 代码 的 测试 履 产 紊 ， 最 和 耻 接 的 收 荔 


在 于 缩短 测试 周期 /时 间 ， 提 升 同样 时 间 内 的 缺陷 发 现 率 。 
延伸 疯 读 


如 采访 者 想 更 多 地 了 解 精准 测试 ， 那 么 可 以 阅读 《不 测 的 秘密 : 精 
准 测 试 之 路 》。 这 本 书 以 故事 的 形式 讲述 了 一 个 团队 在 精准 测试 方向 的 
技术 探索 ， 相 信 会 给 读者 实践 精准 测试 提供 较 好 的 思路 并 带 来 技术 实现 
细节 的 局 发 。 





詹姆斯 :巴赫 近年 来 专注 于 软件 测试 咨询 和 培训 ， 在 他 创办 的 咨询 
公司 Satisfice 的 网 站 上 有 很 多 关于 局 发 式 测试 策略 、 探 索 式 测试 和 SBITM 
的 文章 ， 值 得 一 读 。 尤 其 值得 我 们 关注 的 是 ， 近 年 来 ， 在 这 些 测 试 理论 
的 基础 上 总 结 出 了 快速 软件 测试 方法 论 ， 它 强调 在 软件 测试 中 以 人 为 中 
心 、 工 具 为 辅助 ， 通 过 制定 更 好 的 测试 策略 提高 测试 效率 。 





第 7 章 ，” 人 敏捷 测试 的 设计 与 执行 


7.10.1 接口 (API) 测试 越 来 越 重 要 ”7.10 优 





7.1.1 什么 是 DoD 




















7.10.2 接口 测试 示例 向 接口 的 DoD 与 敏捷 中 7.1.2 如 何 创建 DoD 
7.10.3 如 何 获取 接口 信息 测试 的 验收 测试 。 ”7.1.3 DoD 和 敏捷 验收 
7.10.4 契约 测试 和 微服 务 的 接口 测试 测试 的 关系 




















7.10.5 API 持 续 测试 平台 ， 7.1.4 如 何 验证 DoD 





























API Fortress 7.9 质 效 
合 一: 自 
7.9.1 一 个 关 了 测试 策略 的 案例 动作 测试 如 亲 插 用 | 全 次 人 区 汪 
7.9.2 新 功能 手工 测试 ， 试 的 完美 户 故 事 转 化 为 7.2.2 场景 离 测 试用 例 
回归 测试 自动 化 融合 测试 用 例 还 差 一 步 
7.9.3 探索 未 知 的 ， 自 动 化 已 知 的 人 eh 
; 的 模型 
7.9.4 自动 化 回归 测试 怎么 做 
7.8.1 脚本 语言 和 测试 框架 的 选择 7 .3 基于 场景 /7.3.1 事件 流 图 








7.8.2 UI 元 素 定位 人 事件 流 的 测 斌 


与 
7.8.3 测试 代码 的 模块 化 和 参数 化 | 维护 的 常 | 第 7 章 "敏捷 测 
7.8.4 Selenium 集 成 目 动 化 人 用 技巧 | 试 的 设计 与 执行 







7.3.2 在 敏捷 测试 中 的 
应 
























































7.3.3 状态 图 与 有 限 状 
SS 地 态 机 
测试 框架 
7.8.5 Page Object 设计 模式 
7.8.6 隐 式 等 待 7.4.1 调查 、 分 析 、 排 序 和 
7.4 探索 ”_ 闫 验 
,jw 7.7 测 试 自动 式 测试 过 | 7.4.2 以 分 析 为 中 心 
7.7.1 基于 模型 的 自动 化 测试 。 化 设计 模式 : 程 与 生态 2 为 中 > 
7.7.2 状态 图 生成 测试 用 例 \ 一 步 到 位 \、7.4.3 学 习 环 与 自我 管理 环 
7.7.3 测试 数据 的 自动 生成 7.4.4 协作 环 与 测试 环 
7.6.1 业务 路 径 测试 i 7.5.1 批判 性 思维 与 
遍历 测试 采 索 式 测 | .5 探索 式 测试 。 探索 式 测试 设计 执行 
7.6.2 遍历 测试 中 的 角色 扮演 与 工作 了 取 
7.6.3 极限 情况 的 测试 场景 挖掘 7.5.2 角色 扮演 











7.6.4 异常 情况 的 测试 7.5.3 场景 挖掘 


测试 设计 指 的 是 测试 用 例 、 自 动 化 测试 脚本 的 设计 ， 以 及 探索 式 测 
试 执行 过 程 中 的 设计 。 在 敏捷 测试 中 ， 与 传统 测试 一 样 ， 测 试 计 划 仍 然 
是 测试 设计 的 基础 ， 测 试 设计 仍然 是 测试 执行 的 基础 ， 而 测试 计划 和 测 
试 设计 都 必须 在 执行 中 才能 得 到 贯彻 和 体现 。 但 与 传统 测试 中 分 阶段 进 
行 不 同 的 是 ， 在 敏捷 测试 中 ， 测 斌 计划 和 测试 设计 几乎 总 是 需要 在 执行 
过 程 中 根据 上 下 文 不 断 地 进行 调整 和 完善 。 因 此 ， 敏 捷 测 试 执行 是 与 测 








试 计划 、 测 试 设计 等 活动 循环 交替 进行 的 。 
7.1 正确 理解 DoD 与 敏捷 中 的 验收 测试 
7.1.1 什么 是 DoD 


理解 DoD 〈definition of done) 并 没有 什么 难度 ， 其 字面 意思 是 任务 
完成 的 定义 ， 也 束 是 它 通常 以 清单 的 形式 定义 一 项 任务 完成 的 准则 是 什 
么 。 在 敏捷 开发 中 ，DoD 最 初 应 用 在 Scrum 流 程 的 迭代 中 ， 如 图 7-1 所 
示 ， 是 为 一 个 迭代 任务 定义 的 DoD， 可 以 称 之 为 欠 代 DoD。 它 在 每 次 迭 
代 的 计划 阶段 由 团队 一 起 制定 。 在 验收 阶段 ， 对 照 着 DoD 清 单 中 的 每 一 
项 检查 完成 情况 ， 如 果 都 完成 了 ， 那 么 这 个 友 代 才 可 以 认为 是 “ 完 
成 2 的 。 

。 所 有 用 户 故事 都 符合 验收 标准 

CE 。 代码 符合 编码 规范 
。 代码 提交 到 了 代码 版 本 控制 系统 
。 代码 通过 了 同行 评审 
。 单 元 测试 的 代码 著 盖 率 不 低 于 70% 


e 通过 了 所 有 的 单元 测试 
e 通过 了 所 有 的 自动 化 验收 测试 











。 执行 了 功能 测试 及 非 功能 测试 
e 执行 了 回归 测试 

e 没有 未 解 的 严重 缺陷 

e 所 有 的 技术 文档 都 通过 了 评审 
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图 7-1 迭代 DoD 示 例 
但 就 是 这 样 一 个 简单 的 任务 清单 ， 在 敏捷 开发 里 其 实 起 到 了 非常 重 


要 的 作用 ， 甚 至 “没有 定义 DoD 或 错误 地 定义 DoD” 被 认为 是 导致 敏捷 实 
践 失败 的 最 重要 的 原因 之 一 。 


这 也 并 不 奇怪 ， 有 一 本 值得 阅读 的 书 ， 名 为 《清单 革命 : 如 何 持 
续 、 正 确 、 完 全 地 把 事情 做 好 》， 作 者 是 一 名 外 科 医 生 ， 他 收集 了 大 量 
案例 证 明了 清单 工作 法 在 许多 行业 的 价值 ， 特 别 是 在 临床 医学 、 航 空 、 
和 建筑 业 这 些 对 安全 操作 要 求 极 高 的 行业 。 该 书 的 作者 阿 图 : 移 文 德 认 
为 ， 今天 的 人 类 掌握 了 越 来 越 多 的 知识 ， 很 多 挑战 来 自如 何 持续 地 、 正 
确 地 运用 这 些 知识 ， 人 们 总 是 不 可 避免 地 犯错 ， 有 些 错误 是 因为 我 们 不 
懂 ， 没 有 千 握 相关 的 知识 ， 但 更 多 的 错误 往往 是 因为 我 们 明明 知道 ， 可 
古 该 做 的 时 候 却 没有 做 。 航 空 业 每 一 次 安全 飞行 的 背后 都 是 “清单 的 胜 
利 ”。 








2009 年 ， 全 美 航空 的 萨 伦 伯 格 机 长 将 飞机 成 功 地 人 迫降 在 哈 德 逊 河 
上 ， 这 是 整个 机 组 集体 创造 的 奇迹 ， 他 们 在 危急 时 刻 严格 执行 各 自 的 操 
作 清 单 ， 在 几 分 钟 内 完成 了 所 有 该 做 的 事情 ， 挽 救 了 机 上 所 有 人 的 生 
命 。 对 于 个 人 也 是 一 样 ， 一 名 基金 管理 人 花 了 65 万 美元 拍 下 了 与 巴菲特 
共 进 午餐 的 机 会 ， 事 后 他 说 ， 巴 菲 特 的 脑子 里 有 一 张 清单 ， 他 用 这 张 清 
单 对 潜在 的 投资 机 会 进行 评 佑 。 后 来 ， 这 个 人 也 在 投资 决策 中 坚持 使 用 
清单 ， 这 让 他 管理 的 基金 表现 优异 。 











阿 图 :高 文 德 在 书 中 提 到 : 清单 从 来 不 是 大 而 全 的 操作 手册 ， 而 是 
理性 选择 后 的 思维 工具 。 由 此 可 知 ， 和 迭代 DoD 的 背后 体现 的 是 简单 、 有 
效 的 敏捷 思维 。 


DoD 的 作用 可 以 概括 为 以 下 3 点 。 


。 帮助 团队 明确 目标 ， 提 高 效率 。 在 计划 阶段 制定 DoD， 可 以 帮助 团 








队 检 查 是 否 所 有 的 主要 目标 都 已 经 考虑 到 了 。 在 《高 效能 人 士 的 七 
个 习惯 》 这 本 书 里 介绍 的 第 二 个 习惯 就 是 以 终 为 始 ， 希 望 达 到 什么 
目标 ， 那 么 一 开始 就 要 首先 明确 目标 。 我 们 把 这 一 节 放 在 本 章 的 开 
头 ， 也 就 是 贯彻 了 这 种 以 终 为 始 的 思想 。 








促进 团队 协作 的 机 制 。 在 敏捷 团队 中 ， 每 个 人 的 角色 不 同 ， 承 担 的 
任务 也 不 同 。 这 很 容易 造成 每 个 人 只 关心 目 己 要 完成 的 任务 的 局 

面 ， 从 而 对 团队 要 完成 的 任务 缺乏 统一 的 认识 。 如 果 在 团队 里 有 专 
只 的 测试 人 员 ， 那 么 典型 的 情况 就 是 ， 开发 人 员 认 为 一 个 Feature 

Done《〈 功 能 特性 完成 ) 就 是 编码 完成 ， 顶 多 再 加 上 单元 测试 完成 ; 
而 对 于 测试 人 员 来 说 ，Feature Done 则 意味 着 编码 完成 加 所 有 测试 
通过 。 这 时 就 更 加 依赖 DoD 帮 助 团 队 统一 认识 ， 促 使 团队 成 员 互相 
支持 ， 共 同 完成 目标 。 











避免 出 现 低级 错误 的 工具 。 团 队 可 以 把 DoD 用 于 在 执行 阶段 随时 提 
醒 团 队 需 要 执行 哪些 任务 ， 以 避免 遗漏 。 团 队 要 让 DoD 对 每 个 团队 
成 员 来 说 都 能 够 可 见 ， 包 括 每 一 项 任务 的 进度 ， 这 样 做 有 利于 保证 
在 每 一 次 友 代 中 团队 都 在 持续 地 做 正确 的 事情 。 





7.1.2 ”如 何 创建 DoD 


DoD 最 早 应 用 于 运 代 DoD， 后 来 又 扩展 到 其 他 的 交付 节点 ， 比 较 典 
型 的 有 3 种 : 针对 每 个 用 户 故 事 、 每 次 碗 代 ， 以 及 要 发 布 的 一 个 软件 版 
本 制定 相应 的 DoD。 用 户 故 事 (US) 、 和 迭代 〈sprint) ， 以 及 发 布 的 软 


件 版 本 (release) 之 间 的 关系 如 图 7-2 所 示 。 每 一 个 用 户 故 事 、 每 一 次 迭 
代 ， 以 及 每 个 要 交付 的 软件 版 本 都 要 通过 验收 才能 结束 ，DoD 束 是 验收 
需要 遵循 的 原则 。 


以 达 代 DoD 为 例 ， 应 该 在 达 代 计划 阶段 由 团队 成 员 一 起 讨论 决定 ; 
DoD 的 每 一 项 都 是 可 验证 的 ， 一 经 制定 ， 惑 应 该 成 为 团队 共同 承 诡 要 完 
成 的 目标 。 同 时 ，DoD 需 要 团队 根据 上 其 体 情况 制定 合适 的 清单 并 且 根 据 
变化 进行 及 时 更 新 。 例 如 ， 在 这 一 个 兴 代 中 ， 团 队 采 用 了 BDD， 束 把 
BDD 添 加 到 DoD 中 ;到 了 下 一 个 迭代 ， 团 队 目 标 是 加 强 单元 测试 ， 在 
DoD 中 区 需要 体现 新 的 、 要 求 更 高 的 代码 上 禾 盖 率 目标 。 
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图 7-2 ”用 户 故 事 、 和 迭代 和 版 本 发 布 


下 面 分 别 是 用 户 故 事 DoD、 迭 代 DoD， 以 及 发 布 版 本 DoD 的 任务 清 
单 示例 ， 如 图 7-3 所 示 。 















DoD DoD DoD 
Vv BDD W 用 户 故事 DoD VW 和 迭代 DoD 
V 代码 静态 分 析 V 功能 测试 和 非 功 能 测试 ， 需 W 类 生产 环境 的 回归 测试 
VW 代码 版 本 控制 求 禾 盖 准 100% VV 没有 未 解决 的 严重 缺陷 
W 代码 评审 V 回归 测试 VW 产品 文档 
VW 单元 测试 W 没有 未 解决 的 严重 缺陷 V 新 功能 培训 
VW 功能 测试 W 相关 干系 人 批准 
VY 产品 负责 人 批准 








图 7-3 用户 故事 DoD、 达 代 DoD 和 发 布 版 本 DoD 





(1) 用 户 故 事 DoD 


。 用 户 故 事 采 用 BDD 描 述 验 收 标准 。 


通过 了 用 户 故 事 验 收 测 试 。 





新 增 代码 通过 了 代码 静态 分 析 和 代码 评审 。 


代码 都 提交 到 了 版 本 管理 系统 。 


单元 测试 履 盖 率 达 到 了 709%。 


通过 了 所 有 的 单元 测试 。 


通过 了 功能 测试 和 功能 交互 测试 。 


产品 负 贡 人 批准 了 用 户 故 事 通过 验收 。 


(2) 迭代 DoD 





友 代 DoD 在 所 有 用 户 故 事 通过 了 其 DoD 的 基础 上 ， 增 加 了 功能 测 
试 、 非 功能 测试 、 回 归 训 试 等 测试 项 ， 以 及 对 缺陷 状态 的 检查 。 


。 所 有 用 户 故 事 通 过 了 其 DoD。 


。 执行 了 功能 测试 和 非 功能 测试 ， 需 求 履 盖 率 达到 了 1009%6。 


。 执行 了 回归 测试 。 
。 没有 未 解决 的 严重 缺陷 (PLP2) 。 
(3) 发 布 版 本 DoD 


发 布 版 本 DoD 在 所 有 的 达 代 通过 了 壕 代 DoD 的 基础 上 ， 增 加 了 类 生 
产 环境 的 回归 测试 、 文 档 评 审 ， 以 及 对 市 场 人 员 、 运 维 人 员 的 培训 。 


。 所 有 从 代 通过 了 友 代 DoD。 


。 通过 了 在 类 生产 环境 上 的 回归 测试 。 


没有 未 解决 的 严重 缺陷 (PLP2) 。 


产品 文档 已 全 部 更 新 并 通过 了 评审 。 


。 对 运 维 人 员 、 市 场 人 员 、 客 服 人 员 的 培训 《针对 新 功能 ) 已 完成 。 


。 利益 相关 者 批准 了 版 本 的 交付 。 





7.1.3 DoD 和 敏捷 验收 测试 的 关系 





从 DoD 的 清单 可 以 看 出 ，DoD 和 测试 的 关系 非常 密切 ， 其 中 每 一 项 
几乎 都 和 测试 相关 ， 如 静态 测试 、 持 续集 成 、 持 续 测 试 ， 以 及 各 种 测试 
活动 的 结果 是 DoD 任 务 清单 中 不 可 缺少 的 检查 项 。 如 采 敏 捷 团 队 中 有 专 
只 的 测试 人 员 ， 那 么 对 市 场 人 员 的 培训 通常 是 由 测试 人 员 来 负责 的 ， 并 
且 他 们 在 文档 评审 中 也 发 挥 着 重要 作用 ， 这 是 因为 测试 人 员 最 了 解 业 务 





场景 层面 的 细节 。 


敏捷 中 的 验收 测试 可 以 简单 地 理解 为 用 户 故 事 的 验收 。 在 建立 了 上 
述 3 个 层次 的 DoD 的 基础 之 上， 敏捷 测试 流程 《如 Scrum) 中 的 验收 测试 
可 以 理解 为 : 根据 DoD 对 用 户 故 事 、 迭 代 或 要 发 布 的 版 本 进行 验收 。 在 
每 次 迭 代 验收 阶段 ， 先 对 一 个 个 用 户 故 事 进 行 验收 ， 再 对 整个 迭代 的 可 
交付 软件 进行 验收 。 几 个 达 代 形成 一 个 要 发 布 的 版 本 ， 并 对 这 个 要 交付 
出 去 的 软件 版 本 进行 总 体验 收 。 


对 用 户 故事 的 验收 侧重 各 个 用 户 夏 事 的 功能 和 功能 交互 测试 。 在 
用 户 故 事 验收 测试 的 基础 上 ， 友 代 的 验收 侧重 对 整个 系统 端 到 端的 业务 
测试 ， 包 括 系 统 的 非 功 能 性 测试 和 回归 测试 。 软 件 版 本 的 验收 测试 是 在 
类 生产 环境 中 进行 系统 的 验证 ， 包 括 基 于 用 户 数 据 的 业务 测试 和 性 能 、 
兼容 性 等 的 验证 ， 部 着 、 回 滚 和 备份 等 专项 测试 ， 以 及 伴随 软件 从 研发 
团队 交付 出 去 的 其 他 交付 物 〈 如 用 户 手册 等 ) 的 验证 。 这 样 束 可 以 建立 
一 个 系统 的 验收 测试 体系 。 





7.1.4 如 何 验证 DoD 


验证 DoD 在 敏捷 开发 里 是 一 个 持续 的 过 程 ， 不 但 发 生 在 验收 阶段 ， 
而 且 在 开发 过 程 中 需要 持续 跟踪 每 一 项 的 进度 。 团 队 的 测试 基础 设施 的 
建设 ， 以 及 和 持续 集成 /持续 交付 环境 的 集成 会 为 DoD 的 验证 提供 展 好 
的 文 持 。 持 续集 成 和 持续 交付 让 许多 结果 持续 可 得 并 可 见 ， 如 单元 测 
试 ， 代 码 静 态 分 析 、 代 码 评审 ， 以 及 BDD 目 动 化 验收 测试 、 目 动 化 回归 


测试 等 。 


我 们 经 常 听 到 有 人 说 一 项 任务 完成 了 809% 或 90%， 对 于 DoD 来 说 ， 
这 种 说 法 是 不 可 取 的 ， 只 有 DoD 里 的 每 一 项 都 完成 了 ， 整 个 任务 才 算 完 
成 ， 才 可 以 交付 。 因 此 ， 在 验收 阶段 对 DoD 的 验证 首先 要 遵循 这 样 的 行 
为 准则 ， 团 队 在 一 起 认真 地 检查 每 一 项 内 容 是 否 已 经 完成 ， 这 样 才能 促 
使 每 一 个 人 重视 DoD。 








7.2 如何 将 用 户 故 事 转化 为 测试 用 例 





单纯 的 用 户 故 事 是 不 具有 可 测试 性 的 。 如 果 让 用 户 故 事 具 有 可 测试 
性 ， 就 需要 增加 验收 标准 。 例 如 ， 在 第 5 章 中 介绍 ATDD 时 ， 我 们 就 给 
出 了 下 面 这 个 例子 。 


用 户 故 事 示 例 : 





作为 购物 网 站 的 买 家 ， 我 要 通过 商品 名 称 碍 询 历史 订 单 ， 以 便 奏 看 
某 个 订单 的 详细 信息 。 


此 时 ， 这 个 用 户 故 事 是 不 可 验证 的 ， 测 试 人 员 一 定 会 有 很 多 疑问 ， 
因此 需要 为 用 户 故 事 增加 相关 的 验收 标准 : 





1) 默认 是 查询 过 去 一 年 的 历史 订单 ; 


2) 如 果 没 得 到 ， 那 么 询问 用 户 是 否 选择 一 个 查询 的 时 段 ， 不 选择 
束 退 出 ; 


3) 用 户 可 以 选择 任意 的 起 始 时 间 、 结 束 时 间 ， 但 起 始 时 间 最 早 为 
10 年 前 ， 路 上 度 不 超过 3 年 ; 


4) 文 持 模糊 查询 ; 





5) 按 匹 配 度 来 排序 ， 而 不 是 按时 间 排 序 ; 








6) 每 页 最 多 显示 10 个 记录 ; 

7) 查 到 后 只 显示 订单 号 、 商 品名 称 、 价 格 和 日 期 ; 

8) 如 果 想 继续 查看 ， 那 么 可 单 击 订单 查看 详情 。 

之 后 ， 我 们 又 讨论 了 BDD， 进 一 步 将 用 户 故 事 的 验收 标准 转换 为 场 
景 。 那 么 ， 上 面 这 个 用 户 故 事 如 何 转换 为 场景 呢 ? 


7.2.1 转换 为 场景 


用 户 故 事 是 描述 特定 用 户 的 行为 ， 而 行为 是 不 会 发 生 在 真空 中 的 ， 
一 定 是 发 生 在 特定 的 场景 中 ， 而 且 不 同 的 场景 其 行为 的 表现 是 不 一 样 
的 。 这 里 ， 用 户 角 色 是 “ 买 家 ”， 其 行为 是 ， 输入 茶 个 关键 字 进行 查询 。 
对 于 这 个 行为 ， 会 有 哪些 使 用 场景 呢 ? 





在 上 面 的 验收 标准 中 ， 第 4 一 8 条 看 起 来 不 像 应 用 场景 ， 而 是 对 输出 


提出 的 要 求 ， 即 有 助 于 我 们 建立 测试 用 例 的 期 望 结 果 。 但 仔细 研究 后 友 
现 ， 既 然 是 验收 标准 ， 丈 一 定 是 测试 的 验证 点 ， 也 就 可 以 转化 为 应 用 场 
景 。 这 就 像 等 价 类 划分 和 边界 值 分 析 方 法 ， 不 但 适合 系统 输入 的 应 用 ， 
而 且 适 合 系 统 输出 的 应 用 。 更 准确 地 说 ， 从 测试 充分 性 来 看 ， 不 但 要 禾 
畜 系 统 输入 数据 的 等 价 类 和 边界 值 ， 而 且 要 窗 盖 系统 输出 结果 的 等 价 类 
和 边界 值 。 因 此 ， 上 面 的 验收 标准 可 以 转换 成 下 列 应 用 场景 : 


1) 只 输入 关键 字 ， 没 有 选择 时 间 段 ， 且 奏 询 到 几 项 结 采 ; 


2) 只 输入 关键 字 ， 没 有 选择 时 间 段 ， 且 查询 到 几 项 结果 ， 然 后 单 
击 其 中 一 项 ， 仔 细 奉 看 内 容 ， 最 后 退出 ; 





3) 只 输入 关键 字 ， 没 有 选择 时 间 段 ， 且 碍 询 到 几 项 结果 ， 然 后 单 
击 其 中 一 项 ， 仔 细 查 看 内 容 ， 感 觉 还 不 是 自己 所 需 的 结果 ， 返 回 ， 单 击 
结果 中 的 男 一 项 ， 再 仔细 查看 内 容 ; 














4) 只 输入 关键 字 ， 没 有 选择 时 间 段 ， 且 伍 询 到 很 多 项 结果 ; 


5) 只 输入 关键 字 ， 没 有 选择 时 间 7 段 ， 且 没有 查询 结果 ; 


6) 输入 关键 字 ， 并 且 选 择 了 一 个 有 效 的 时 间 段 ; 





7) 输入 关键 字 ， 但 选择 了 一 个 无 效 的 时 间 段 


8) 什么 部 没 输入 ， 直 接 查 询 。 








这 就 是 “查询 * 这 个 动作 的 应 用 场景 。 如 果 只 是 进行 手工 的 探索 式 测 
试 ， 到 这 一 步 就 可 以 了 。 在 执行 过 程 中 ， 测 试 人 员 会 一 边 执行 一 边 探索 








新 的 应 用 场景 。 实 际 上 ， 所 执行 的 测试 会 超过 上 面 8 种 场景 。 但 如 果 进 
行 目 动 化 测试 ， 那 么 工具 还 无 法 按照 上 面 的 描述 执行 测试 ， 或 者 说 ， 在 
这 样 的 描述 下 还 无 法 完成 目 动 化 测试 脚本 的 开发 。 


7.2.2 场景 离 测 试用 例 还 到 一 步 


从 场景 到 测试 用 例 ， 这 中 间 缺 少 什 么 呢 ? 


例如 第 一 个 场景 ， 输 入 关键 字 时 ， 一 定 要 明确 具体 的 字符 串 。 例 
如 ， 输 入 “敏捷 测试 ?， 碍 询 购买 “敏捷 测试 ?这 一 类 书 的 订单 ， 上 述 应 用 
场景 中 描述 为 : 查询 到 几 项 结果 、 碍 询 到 很 多 项 结果 ， 究 竟 是 多 少 项 内 
容 并 不 清楚 ， 因 此 惑 无 法 构造 已 有 的 订单 数据 为 这 项 测试 服务 。 上 述 场 
景 中 还 描述 选择 了 一 个 有 效 的 时 间 段 ?>， 那 么 完 竟 是 从 哪 一 天 到 哪 一 
天 了 呢 ? 








因此 ， 只 有 基于 “查询 ”行为 而 列 出 的 场景 还 不 够 ， 需 要 加 上 测试 数 
据 ， 才 真正 生成 我 们 所 需 的 测试 用 例 ， 或 开发 出 相应 的 上 自动 化 脚本 ， 实 
现 目 动 化 测试 。 上 面 的 输入 “敏捷 测试 "也 属于 测试 数据 ， 为 了 测试 的 充 
分 性 ， 则 需要 引入 等 价 类 划分 和 边界 值 分 析 等 方法 ， 以 确定 所 需 的 测试 
数据 集 。 示 例如 下 。 


。 关键 字数 据 ， 包 括 “ 敏 捷 测 试 ”“ 敏 捷 测试 ”敏捷 测试 ?敏捷 测试 ?9 
敏捷 测试 ”< 敏捷 测试 >”<script> 敏 捷 测 试 </script>” 等 。 





。 构造 测试 数据 ， 使 查询 的 结果 正好 只 有 1 条 、10 条 、11 条 等 (主要 


。 有效 的 时 间 段 ， 包 括 只 有 一 天 、 起 始 时 间 正 好 10 年 前 、 时 段 正 好 3 
年 等 。 假 定 今天 是 2020 年 5 月 4 日 ， 那 么 需要 构造 这 些 测试 数 
据 : “2020 年 5 月 1 日 ~~2020 年 5 月 1 日 “2010 年 5 月 5 日 ~~2011 年 5 月 1 
日 ”2017 年 5 月 1 日 一 2020 年 4 月 30 日 ”等 。 





。 无 效 的 时 间 段 。 还 是 假定 今天 是 2020 年 5 月 4 日 ， 那 么 需要 这 样 构造 
测试 数据 : “2020 年 5 月 3 日 一 2020 年 5 月 1 日 “2010 年 5 月 3 日 一 2011 
年 5 月 2 日 ”2017 年 5 月 1 日 一 2020 年 5 月 2 日 ”等 。 


这 样 ， 之 前 的 场景 加 上 这 些 测试 数据 ， 这 个 用 户 故 事 的 测试 用 例 就 
算 真正 完成 了 。 通 过 这 样 一 个 过 程 ， 读 者 可 以 看 到 ， 其 实在 敏捷 开发 
中 ， 如 果 ATDD 实 施 得 比较 好 ， 那 么 测试 用 例 生 成 是 一 件 容易 的 事 ， 测 
试 不 应 该 成 为 敏捷 开发 中 的 瓶颈 〈 虽 然 之 前 的 调查 显示 : 测试 是 敏捷 开 
发 持续 交付 的 最 大 撼 氏 ， 而 没有 推行 ATDD 或 BDD 是 主要 原因 之 一 ) 。 








7.2.3 ”用户 故 事 转化 为 测试 用 例 的 模型 


我 们 可 以 用 “用 户 故 事 转 化 为 测试 用 例 的 模型 "更 好 地 说 明 这 个 问 
题 ， 如 图 7-4 所 示 ， 顶 层 是 一 个 产品 的 业务 需求 ， 业 务 需 求 可 以 被 分 解 
成 业务 的 功能 特性 。 根 据 图 5-8， 特 性 比 Epic 还 大 ， 但 又 有 人 认为 Epic 古 
产品 的 完整 故事 或 完整 的 业务 故事 。 不 过 ， 如 果 系 统 规模 不 太 大 、 不 太 
复杂 ， 那 么 也 没有 必要 分 那么 多 层 。 例 如 ， 之 前 介绍 的 在 线 教育 App 就 
没有 这 么 多 层 ， 这 时 可 以 把 Epic 那 一 层 看 作 和 功能 特性 是 同一 层 。 





我 们 这 里 仍然 以 在 线 教育 App 为 例 进行 说 明 。 


。 在 线 教 育 App 的 需求 分 解 为 诬 程 及 现 、 账 户 管 理 、 课 程 购买 、 访 程 
学 习 和 诬 程 分 诗 等 特性 ， 这 个 层次 可 以 对 应 特性 团队 ， 即 跨 职能 或 
称 为 全 功能 的 团队 。 





以 “课程 学 习 ” 特 性 为 例 ， 它 可 分 解 为 已 购 课 程 管理 、 课 程 留言 、 课 
程 评分 、 学 习 笔记 和 收藏 这 几 个 用 户 故 事 。 用 户 故事 就 是 敏捷 开发 
中 需求 描述 的 基本 形式 ， 但 如 果 用 户 故事 不 包含 验收 标准 ， 那 么 它 
是 不 可 测试 的 。 


这 里 以 “已 购 课程 管理 ”用户 故 事 为 例 ， 它 可 以 进一步 分 解 为 从 未 购 
买 课程 、 只 购买 了 专栏 课程 、 只 购买 了 视频 课程 ， 以 及 购买 了 专栏 
课程 和 视频 课程 等 一 系列 场景 。 只 有 分 别 确定 了 在 这 些 场景 下 ， 用 
户 单 击 了 “已 购 ” 按 钮 ， 将 会 呈现 什么 样 的 结果 ， 用 户 故 事 才 具有 可 
测试 性 。 也 就 是 说 ， 在 设计 、 编 程 前 ， 为 每 个 用 户 故事 加 上 验收 标 
准 ， 即 做 到 了 ATDD。 妆 以 场景 作为 验收 标准 时 ，ATDD 即 是 
BDD。 虽 然 到 了 这 个 层次 ， 用 户 故 事 具 有 了 可 测试 性 ， 但 离 测试 用 
例 还 有 一 步 之 遥 。 




















针对 每 个 场景 加 上 测试 数据 ， 如 只 购买 了 1 个 或 2 个 专栏 读 程 。 这 
样 ， 我 们 就 得 到 所 需 的 测试 用 例 ， 可 以 开发 相应 的 上 自动 化 测试 脚 
本 。 


读者 从 图 7-4 中 可 以 感受 到 ， 功 能 特性 做 到 100% 才 盖 是 根本 没有 意 
义 的。 例如 ， 对 于 在 线 教育 App， 我 们 只 要 设计 5 个 测试 用 例 ， 即 为 读 





程 发 现 、 账 户 管 理 、 课 程 购买 、 课 程 学 习 和 课程 分 享 中 的 每 个 特性 分 配 
一 个 测试 用 例 ， 束 做 到 了 功能 特性 100% 窗 盖 ， 但 测试 必定 很 不 充分 。 
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数据 测试 用 例 


图 7-4 ”从 用 户 故 事 到 测试 用 例 的 过 程 








因此 ， 我 们 必须 将 功能 特性 进行 分 解 ， 且 分 解 到 不 能 分 解 为 止 ， 最 
后 设计 测试 用 例 尾 盖 最 后 一 层 的 测试 点 ， 这 样 的 宪 盖 率 数 据 就 有 意义 
了 。 通 过 从 功能 特性 、 用 户 故 事 到 场景 、 测 试用 例 的 分 解 过 程 ， 在 敏捷 
开发 中 就 会 很 自然 、 一 气 呵 成 是 高效 地 完成 测试 设计 。 如 果 做 到 了 
ATDD/BDD， 即 当 我 们 做 好 了 敏捷 的 需求 工作 一 一 在 需求 上 达成 共识 且 
有 具 有 可 测试 性 ， 那 么 这 时 离 测试 用 例 束 只 有 一 步 之 示 。 在 此 基础 上 ， 加 
上 测试 数据 又 相对 简单 ， 也 就 是 让 敏捷 测试 设计 变 成 了 一 项 简单 的 工 
作 。 因 此 在 敏捷 开发 中 ， 我 们 应 尽力 推动 ATDD 或 BDD 的 实施 。 











7.3 ”基于 场景 事件 流 的 测试 用 例 设计 





前 面 介绍 了 从 用 户 故 事 、 场 景 到 测试 用 例 的 分 解 或 设计 的 过 程 ， 它 


主要 是 为 单个 用 户 故事 的 测试 设计 服务 的 ， 但 只 有 和 针对 用 户 故 事 的 测试 
是 不 够 的 ， 还 需要 在 业务 层次 针对 整个 系统 进行 端 到 病 的 测试 ， 才 能 
好 地 确保 软件 系统 的 质量 。 





针对 整个 系统 进行 问 到 端的 测试 设计 方法 就 是 本 节 所 要 讨论 的 基于 
场景 的 用 例 设 计 或 基于 事件 流 的 用 例 设计 ， 而 且 这 样 的 方法 也 很 适合 敏 
捷 环 境 下 的 快速 测试 ， 更 适合 探索 式 测试 。 在 局 动 一 个 探索 式 测 试 的 会 
话 之 前 ， 首 先 列 出 所 有 的 场景 ， 基 于 场景 及 其 组 合 画 出 事件 流 图 。 然 
后 ， 基 于 事件 流 图 就 可 以 生成 应 到 端的 调试 用 例 ， 甚 至 不 需要 生成 测试 
用 例 ， 即 根据 事件 流 图 进行 探索 式 测试 。 








7.3.1 事件 流 图 


想 要 男 出 事件 流 图 ， 就 要 和 理解 什么 是 事件 流 。 事 件 流 可 以 理解 为 
由 多 个 处 理 操作 构成 的 、 有 先后 次 序 的 条 一 业务 事件 的 操作 流程 ， 同 一 
事件 不 同 的 触发 顺 夺 和 处 理 结果 形成 不 同 的 事件 流 。 事 件 流 一 般 分 为 基 
本 流 、 扩 展 流 和 异常 流 。 


。 基本 流 : 程序 从 开始 执行 直到 成 功 结束 所 经 过 的 最 短路 径 ， 或 者 
说 ， 事 件 处 理 过 程 一 切 顺 利 ， 正 常 结束 。 

。 扩展 流 : 一 个 扩展 流 可 能 从 基本 流 或 力 一 个 扩展 流 开 始 ， 在 特定 条 
件 下 偏离 基本 流 ， 执 行 额外 的 一 些 环 和 ， 然 后 重新 加 入 基本 流 中 。 





。 有 寞 第 流 : 一 个 弄 常 流 可 能 从 基本 沈 或 扩展 流 开始 ， 在 特定 条 件 下 仿 


离 基 本 流 ， 出 现 寞 常 ， 无 法 再 加 入 基本 流 ， 无 法 完成 事件 的 处 理 束 
终止 过 程 。 


事件 流 图 融 是 描述 东 项 业务 不 同事 件 处 理 的 流程 ， 以 事件 为 节点 ， 





如 图 7-5 所 示 。 在 事件 流 图 中 ， 通 过 有 方 癌 的 箭头 来 表示 事件 处 理 的 移 
后 次 序 ， 以 及 事件 之 间 的 交互 关系 ， 基 本 流 作为 事件 流 图 的 主干 线 ， 而 
扩展 流 、 腊 利 流 作为 事件 流 图 的 分 文 。 


开始 一 一 插入 银行 卡 






ATM 中 没 
扩展 流 ) 钱 ， 选 择 
其 他 服务 ? 


结束 一 一 取得 钱 





图 7-5 “事件 流 图 
7.3.2 ”在 敏捷 测试 中 的 应 用 


在 敏捷 测试 设计 中 ， 可 以 将 特性 或 Epic 描 述 的 需求 转化 为 事件 流 ， 
相当 于 完成 业务 流程 的 分 析 ， 能 够 梳理 出 一 些 场景 ， 产 生 事件 流 图 的 主 
干 及 分 文 一 一 基本 流 、 扩 展 流 和 有 异常 流 。 为 了 尽 可 能 生成 所 有 的 事件 
流 ， 对 梳理 出 的 场景 可 以 进行 可 能 的 组 合 ， 从 而 产生 多 个 可 能 存在 的 事 











件 流 。 


例如 ， 以 在 线 教 育 App 的 “课程 购买 ?为 例 ， 它 涉及 余额 文 付 、 微 信 
支付 、 支 付 宝 文 付 、 拼 团购 买 、 礼 券 和 优惠 码 等 多 个 用 户 故 事 。 在 7.2 
亨 中 ， 侧 重 对 每 个 用 户 故 事 进行 测试 ， 现 在 则 是 对 “ 访 程 购买 ”这 个 特性 
进行 完整 的 业务 测试 ， 把 这 些 用 户 故 事 串 起 来 进行 测试 。 更 准确 地 说 ， 
首先 将 把 每 个 用 户 故 事 遇 到 的 场景 列 出 来 ， 然 后 不 是 将 用 户 故事 串 起 
来 ， 而 是 将 用 户 故 事 的 茶 些 场景 串 起 来 ， 形 成 新 的 扩展 流 和 腊 第 流 。 而 
基本 流 则 是 选择 要 购买 的 谍 程 ， 然 后 选择 文 付 方式 ， 文 付 相应 的 费用 ， 
一 切 顺利 ， 购 买 到 诬 程 。 














而 在 这 过 程 中 ， 可 能 会 遇 到 网 络 不 通 、 余 额 不 足 而 需要 充值 等 问 
题 ， 或 者 不 是 过 到 问题 ， 而 是 有 礼券 或 优惠 码 可 以 使 用 。 礼 券 一 般 可 以 
用 于 各 个 诬 程 中 ， 以 抵 扣 部 分 课程 费用 ， 而 优惠 码 一 般 和 诬 程 绑 定 ， 用 
于 免费 购买 课程 。 


基于 实际 业务 并 考虑 以 上 因素 ， 我 们 残 可 以 绘制 出 事件 流 图 。 如 图 
7-6 所 示 是 一 个 简化 的 版 本 ， 实 际 情况 可 能 更 复 淋 ， 如 谍 程 优惠 期 购 
买 、 拼 团购 买 和 单 击 他 人 分 至 链接 之 后 购买 等 场景 。 











事件 流 图 完成 之 后 ， 就 可 以 生成 测试 用 例 了 ， 即 遍历 根 节 点 “ 开 
始 ? 到 所 有 叶 节 点 “结束 ”的 路 径 。 如 果 遇 到 循环 ， 那 么 其 路 径 可 能 是 无 
限 的 。 这 时 ， 如 果 质 量 要 求 不 高 ， 可 以 考虑 完成 一 次 完整 的 循环 ;如果 
质量 要 求 高 ， 则 需要 完成 两 次 或 更 多 次 的 循环 ， 以 保证 更 高 的 测试 充分 
人 


























图 7-6 简化 的 “课程 购买 ?事件 流 图 


从 图 7-6 所 示 的 事件 流 图 ， 可 以 生成 图 7-7 所 示 的 从 根 市 点 到 叶 市 反 
的 端 到 端的 测试 用 例 ， 从 基本 流 开始 ， 然 后 是 扩展 流 、 最 后 到 弄 癌 流 。 
这 里 没有 列 出 所 有 的 测试 用 例 : 对 于 扩展 流 ， 如 图 7-7 中 间 所 示 的 5 个 测 
试用 例 再 加 上 “登录 “注册 “余额 不 足 换 一 种 支付 方式 ”这 3 个 ， 总 共 是 8 
个 测试 用 例 ; 对 于 异常 流 ， 如 图 7-7 所 示 右 边 两 个 测试 用 例 再 加 上 “密码 
和 输 错 多 次 ”， 共 3 个 测试 用 例 。 因 此 ， 总 共有 12 (1+8+3) 个 测试 用 例 。 








这 里 没有 考虑 测试 数据 ， 如 课程 优惠 折扣 、 大 额度 充值 、 大 数据 量 
和 异常 值 等 。 


事件 流 依赖 于 场景 的 挖掘 ，7.5.3 节 会 详细 讨论 “场景 挖掘 ”。 此 时 ， 
我 们 也 可 以 设想 一 下 如 何 让 场景 进行 更 有 意义 的 组 合 ， 从 而 产生 更 多 的 
场景 。 例 如 ， 将 谍 程 优惠 期 购买 、 拼 团购 买 和 单 击 他 人 分 享 链接 之 后 购 











买 等 不 同 的 场景 进行 组 合 ， 就 会 增加 一 些 新 的 场景 ， 示 例如 下 : 
。 诛 程 优惠 期 + 拼 团 购买 ; 
。 单 击 他 人 分 享 链接 + 拼 团购 买 ; 


。 诛 程 优惠 期 + 单 击 他 人 分 享 链接 + 拼 团 组 合 购买 。 





如 果 再 结合 事件 处 理 的 流程 ， 那 么 可 以 再 丰富 事件 流 图 ， 然 后 会 设 
计 出 业务 神 盖 更 充分 的 端 到 端的 测试 用 例 。 





















































击 四 
于 向 信 | 礼券 余额 支 付 
中 转 成 功 ，| | 中转 成 功 ， 
单 击 “立即 | | 单 击 “立即 
付 ” 支付 。 | | 中 转 成 功 输入 支付 
击 “ 立 密码 
EE i 
输入 支付 | | 输入 支付 
密友 
Pd ， 
成 功 支付 | | 重新 给 入 
密码 




















二 本 | 
CR) 成 功 支付 
成 功 支付 


图 7-7 从 根 节点 到 叶 节 点 的 端 到 端的 测试 用 例 
7.3.3 ”状态 图 与 有 限 状态 机 


之 前 ， 读 者 可 能 学 过 功能 图 方法 ， 它 是 一 种 动态 方法 。 基 于 输入 域 


的 方法 可 以 看 作 静 态 方法 ， 但 功能 图 的 本 质 古 状态 图 ， 认 为 程序 的 运行 
可 以 看 作 在 不 同 状 态 之 间 不 断 迁移 的 过 程 ， 如 在 线 教 育 App 中 的 “课程 购 
买 ? 台 是 在 等 竺 输入、 登录 成 功 、 等 竺 选择 、 等 竺 文 付 和 文 付 成 功 等 一 

系列 状态 之 间 进 行 切换 。 状 态 图 不 同 于 事件 流 图 ， 因 为 事件 流 图 的 核心 
征 事 件 处 理 的 流程 ， 与 业务 流程 图 和 活动 图 更 接近 。 





状态 图 的 核心 是 软件 系统 所 处 的 各 种 状态 及 其 之 间 的 迁移 ， 也 可 以 
看 作业 务 流 程 状态 化 。 从 一 个 状态 迁移 到 另 一 个 状态 可 能 是 由 时 间 、 消 
奶 触 发 的 ， 也 可 能 是 由 事件 触发 的 。 状 态 图 的 关注 点 还 是 状态 ， 特 别 是 
对 组 入 式 系统 或 状态 明显 的 控制 程序 ， 适 合 采 用 状态 图 ， 如 电梯 控制 程 
序 ， 如 图 7-8 所 示 。 








状态 图 有 对 应 的 数学 模型 ， 包 括 有 限 状 态 机 (finite-state machine， 
FSM) 、 扩 展 有 限 状 态 机 (extended finite-state machine，EFSM) 等 。 
例如 ， 有 限 状 态 机 可 以 描述 术 成 五 元 组 ， 即 信 、 30 90 Fs 其 中 : 





Q 表 示 有 限 状 态 的 集合 ; 


表示 有 限 、 非 空 的 输入 字母 表 ; 


SY 


6 表示 一 系列 转换 函数 ， 完 成 状态 的 迁 下 


. 
KR 


. 
9 


4 表示 初始 状态 


F 表示 可 接受 《或 最 终 ) 状态 的 集合 。 














到 达 指 定 楼 层 接近 楼 层 检 查 楼 层 


i: 二 开 
门 打开 /计时 
在 指定 楼 层 


无 请 求 超时 /检查 下 一 个 目的 楼 层 

















检查 下 一 个 目的 楼 层 








图 7-8 ”状态 图 一 一 电梯 控制 程序 








这 是 不 是 很 像 图 灵机 了 ? 这样 基于 数学 模型 就 可 以 进行 类 似 定理 证 
明 那 样 的 工作 ， 即 用 形式 化 方法 进行 验证 ， 以 确保 程序 完全 正确 ， 这 对 
像 电梯 控制 程序 、 发 动机 控制 程序 、 核 电站 控制 程序 等 关键 性 软件 是 非 
常 必要 的 。 但 它 已 经 不 是 我 们 通常 所 说 的 测试 ， 日 肖 工 作 中 的 测试 只 十 
实验 ， 不 是 数学 证 明 。 








扩展 有 限 状 态 机 模型 是 对 有 限 状 态 机 模型 的 一 个 扩展 ， 它 在 有 限 状 
态 机 模型 的 基础 上 增加 了 变量 、 操 作 ， 以 及 状态 迁移 的 前 置 条 件 ， 被 描 
述 成 六 元 组 。 基 于 扩展 有 限 状 态 机 测试 的 输入 应 该 包含 两 个 部 分 : 测试 
输入 序列 及 其 包含 的 变量 值 〈 输 入 数据 ) 。 手 工 选取 这 些 测试 数据 的 工 
作 相 当 和 烦琐， 一般 需要 采用 目 动 选取 的 方法 ， 如 聚 类 方法 、 二 又 树 过 历 














算法 和 分 段 梯度 最 优 下 降 算法 等 ， 从 而 极 大 地 提高 实际 测试 工作 的 效 


7.4 探索 却 测 试 过 程 与 生态 








与 其 他 测试 方式 不 同 的 是 ， 围 绕 探 索 式 测试 已 经 建 并 了 一 个 民 好 的 
测试 生态 ， 通 过 对 这 个 测试 生态 的 了 解 ， 相 信 读 者 对 于 探索 式 测试 会 有 
更 深 的 理解 。 


7.4.1 调查、 分析、 排序 和 实验 


OO AN 

续 循 环 ， 这 个 循环 还 可 以 用 IAPE 测 试 环 来 表示 ， 如 图 7-9 所 示 。 我 们 经 
常 把 探索 式 测试 比喻 成 侦探 破案 ， 从 这 个 测试 环 中 更 加 能 够 体现 这 一 
点 ， 因 为 它 展示 了 探索 式 测试 其 实 是 一 个 调查 、 分 析 、 排 查 线索 ， 然 后 
付 诸 行动 ， 直 到 发 现 缺陷 的 过 程 。 





排序 


CPIE ( Collation ， Prioritization, De Experimentation ) 
{ 整理 、 排序 训 、 调 研 、 实 验 ) } 


IAPE ( Investigqation, Analysis, Prioritization, Experimentation ) 


图 7-9 ”IAPE 测 试 环 


。 调查 (Investigation〉: 在 测试 开始 时 ， 测 试 人 员 浏 览 并 操作 待 测 


试 的 功能 及 其 相关 功能 。 这 是 一 个 快速 了 解 要 测试 的 功能 、 收 集 信 
奶 的 过 程 。 


分 析 〈Analysis) : 分 析 收 集 到 的 信息 ， 并 且 开 始 设计 有 具体 的 测试 
场景 。 在 头脑 中 产生 出 一 些 具 体 的 测试 路 径 和 需要 履 兰 的 业务 场 


_ 恒 . 
有 No 











排序 〈Prioritization ) : 对 设计 好 的 测试 场景 进行 排序 。 如 果 一 些 
路 径 和 场景 更 为 关键 ,或 者 更 可 能 存在 缺陷 ， 就 先 测试 那里 。 


实验 〈Experimentation) : 测试 人 员 不 断 地 答 试 不 同 的 操作 路 径 及 
业务 场景 。 这 里 需要 测试 人 员 根 据 被 测 系统 反馈 的 信息 和 新 发 现 的 
缺陷 ， 不 断 调整 自己 的 测试 方向 ， 扩 展 测 试 场景 ， 甚 至 可 以 跳出 原 
来 的 测试 任务 ， 抓 住 新 的 机 会 ， 从 而 挖掘 出 更 多 的 缺陷 。 





7.4.2 ”以 分 析 为 中 心 


一 个 完整 的 探索 式 测试 生态 由 5 个 部 分 组 成 ， 如 图 7-10 所 示 ， 其 核 
心 是 测试 分 析 ， 再 加 上 测试 环 、 协 作 环 、 学 习 环 和 目 我 管理 环 。 测 试 分 
析 的 基础 是 上 下 文 驱 动 的 思维 ， 因 此 才 有 可 能 形成 和 其 他 4 个 环 市 的 互 
动 ， 让 分 析 成 为 < 大脑"， 在 各 个 环 市 中 无 处 不 在 ， 并 文 持 着 探索 式 测试 
随时 根据 上 下 文 的 变化 进行 调整 。 探 索 式 测试 中 的 分 析 最 重要 的 是 对 风 
险 的 识别 和 处 理 策 略 ， 除 此 之 外 ， 还 包括 对 测试 范围 、 测 试 结果 的 判断 
依据 ， 测 试 中 发 现 的 缺陷 ， 测 试 价值 和 成 本 ， 以 及 对 当前 的 各 种 资源 和 
限制 条 件 等 的 分 析 。 














测试 故事 
A 





目标 
=- 测试 计划 /报告 
一 工作 成 果 


-经 
- 对 测试 人 员 的 期 户 






图 7-10 “探索 式 测试 生态 
7.4.3 ”学 习 环 与 自我 管理 环 


学 习 环 : 为 测试 人 员 提 供 探索 式 测试 必 备 的 技术 能 力 和 产品 信息 ， 
并 在 分 析 和 测试 实践 中 不 断 得 到 反馈 ， 不 断 完善 团队 及 个 人 的 知识 体 
系 。 探 索 式 测试 强调 以 人 为 本 ， 充 分 发 挥 训 试 人 员 的 个 人 能 力 。 因 此 ， 
测试 人 员 需 要 不 断 地 通过 学 习 提高 目 己 的 测试 技术 能 力 ， 包 括 软件 开发 
和 测试 技术 能 力 、 领 域 知识 、 业 务 理 解 能 力 ， 以 及 质量 和 项 目 管理 能 
等 ， 并 且 需 要 将 学 到 的 知识 不 断 付 诸 实践 。 


目 我 管理 环 : 体现 了 对 于 探索 式 测试 生命 周期 中 各 项 活动 的 管理 。 
探索 式 测试 的 测试 管理 体系 是 SBTM， 在 计划 阶段 完成 从 测试 计划 到 测 
试 子 目标 ， 再 到 具体 的 测试 会 话 的 分 解 。 随 后 ， 每 个 测试 人 员 领 取 测 试 
任务 ， 根 据 会 话 革 程 理解 自 己 的 测试 目标 ， 千 握 测试 的 要 点 ， 在 每 个 相 





对 固定 的 时 间 盒 内 按照 测试 优先 级 执行 具体 的 测试 。 在 测试 后 ， 测 试 人 
员 在 会 话 表 中 按照 一 定格 式 报 告 测 斌 结果， 并 对 测试 负责 人 进行 口头 汇 
报 。 同 时 ， 我 们 需要 在 测试 过 程 中 通过 上 下 文 不 断 地 调整 测试 策略 和 测 
试 计划 。 





7.4.4 协作 环 与 测试 环 








协作 环 : 探索 式 测试 是 上 下 文 驱动 思维 的 具体 体现 ， 因 此 更 提倡 团 
队 协 作 。 作 为 测试 人 员 ， 需 要 不 断 地 从 产品 经 理 、 业 务 人 员 、 开 发 人 员 
那里 收集 相关 的 信息 ， 并 且 反 人 馈 自 己 对 项 目的 建议 和 测试 的 结果 。 测 试 
人 员 之 间 也 需要 互相 指导 和 帮助 ， 分 至 经 验 ， 以 便 更 好 地 完成 测试 任 
务 ， 如 分 胖 如 何 挖掘 测试 场景 ， 以 及 测试 过 程 中 采用 哪些 测试 技术 发 现 
了 有 价值 的 缺陷 。 


测试 环 ， 也 称 执行 环 ， 是 探索 式 测试 中 真正 的 测试 执行 ， 即 在 一 个 
测试 会 话 中 准备 好 测试 环境 和 必要 的 测试 数据 ， 然 后 开始 测试 。 这 个 过 
程 很 像 是 在 做 科学 实验 ， 测 试 人 员 人 全神贯注 地 开展 对 被 测 系统 和 功能 的 
研究 ， 具 体 包含 了 收集 信息 、 观 察 、 设 计 和 执行 等 一 系列 活动 。 








测试 人 员 通 过 学 习 和 团队 协作 获得 初步 的 信息 学习 环 、 协 作 
环 ) ， 从 而 识别 出 测试 风险 ， 明 确 测 试 范 围 ， 制 定 测 试 集 略 和 测试 计划 
(自我 管理 环 ) ， 随 后 开展 测试 执行 (测试 环 〉。 在 执行 过 程 中 ,不断 
收集 、 分 析 测 试 中 的 有 发现， 包括 对 缺陷 的 调查 ， 对 风险 、 测 试 范 围 、 测 
试 预言 和 所 需 资 源 的 新 的 认 知 ， 这 些 又 促使 测试 人 员 完 善 对 于 产品 和 业 














务 的 知识 ， 修 正 测 试 的 优先 级 和 测试 任务 /计划 ， 并 且 向 团队 成 员 输 出 
自己 获得 的 知识 和 经 验 。 


7.5 ”探索 式 测试 中 的 角色 扮演 与 场景 挖 据 
软件 测试 就 是 测试 人 员 运 用 批判 性 思维 不 断 质疑 产品 质量 的 过 程 。 
对 于 探索 式 测试 尤其 如 此 ， 测 试 人 员 把 自己 代入 特定 的 用 户 角色 ， 通 过 


问 产 品 “ 提 出 ?各 种 问题 ， 不 断 地 扩展 出 各 种 业务 场景 以 进行 更 深入 的 测 
试 ， 当 然 ， 也 可 能 会 发 现 更 多 的 缺陷 。 


7.5.1 批判 性 思维 与 探索 式 测试 设计 执行 





“批判 * 这 个 词 有 批改 、 否 定 的 含义 ， 在 写本 节 内 容 的 时 候 ， 笔 者 想 
了 解 一 下 大 家 会 不 会 受到 字面 意思 的 误导 ， 于 是 做 了 一 个 调查 。5 位 调 
查 对 象 来 目 IT 公司 里 不 同 的 工作 岗位 ， 我 请 他 们 按照 自己 的 理解 快速 地 
告诉 我 什么 是 批判 性 思维 。 其 中 有 4 个 人 的 回答 中 包含 “挑刺 ?或 者 “ 挑 毛 
病 ” 这 样 的 词 ， 有 2 个 人 分 别 用 了 “有 攻击 性 ”和 “容易 得 罪人 ”这 样 的 词 
汇 。 随 后 我 把 表 7-1 所 示 的 内 容 转 及 给 那 5 位 朋友 ， 其 中 有 3 位 朋友 看 完 
后 表示 这 与 他 们 平时 对 批判 性 思维 的 认 知 不 太一 样 。 那 么 ， 在 了 解 什 么 
是 批判 性 思维 之 前 ， 也 请 你 想 一 想 ， 你 认为 什么 是 批判 性 思维 呢 ? 

















表 7-1 总 结 了 批判 性 思考 者 和 非 批判 性 思考 者 的 区 别 ， 这 些 内 容 来 
目 《 超 越 感觉 : 批判 性 思考 指南 》 这 本 书 。 现 在 请 你 来 对 照 一 仆 ， 这 和 
你 对 批判 性 思维 的 理解 一 致 吗 ? 


表 7-1 批判 性 思考 者 与 非 批判 性 思考 者 的 比较 





批判 性 思 








以 诚 待人 ， 承 认 自 己 所 不 知道 的 事情 ， 认 识 
自己 的 局 限 性 ， 能 看 到 自己 的 缺点 



































把 问题 和 有 争议 的 议题 视 为 令 人 兴奋 的 挑战 





尽力 领会 复杂 性 ， 对 其 保持 好 奇 心 和 耐心 ， 
并 准备 花 时 间 去 解决 难题 











把 判断 建立 在 证 据 而 不 是 个 人 喜好 上 ， 只 要 
证 据 不 充分 ， 就 推迟 判断 。 当 新 证 据 揭 示 出 
错误 时 ， 他 们 就 修改 判断 


























对 他 人 的 思想 感 兴趣 ， 因 而 愿意 专心 地 阅读 
和 倾听 ， 即 使 他 们 往往 不 同意 他 人 的 观点 


因为 认识 到 极端 的 观点 (无 论 是 保守 的 还 
自由 的 ) 很 少 正确 ， 所 以 他 们 避免 走向 极 
端 ， 上 践 行 公正 性 并 且 寻 求 平 衡 的 观点 



































践 行 克 制 ， 控 制 自 己 的 感情 而 不 是 受 感情 所 
控制 ， 三 思 而 后 行 














非 批判 性 思 


段 沪 自己 知道 的 比 做 的 还 多 ， 无 视 自 
己 的 局 限 性 ， 并 假设 自己 的 观点 无 差 


上 六 
二 日 

















把 问题 和 有 争议 的 议题 视 为 对 自我 的 
损害 或 威胁 





对 复杂 性 缺乏 耐心 ， 宁 可 困惑 不 解 也 
不 努力 搞 明 白 








把 判断 建立 在 第 一 印象 和 直觉 反应 
上 。 他 们 不 关心 证 据 的 数量 和 质量 ， 
并 且 兢 固 地 坚持 自己 的 观点 














只 关注 自身 和 自己 的 观点 ， 因 而 不 愿 
关注 他 人 的 观点 。 一 看 到 不 同意 见 ， 


他 们 往往 会 想 怎 么 能 够 反驳 它 

















忽视 平衡 的 必要 性 ， 优 先 考 虑 支持 他 
们 既成 观点 的 看 法 























很 明显 ， 批 判 性 思维 不 等 于 挑刺 ， 也 不 带 有 攻击 性 。 相 反 ， 有 具有 批 
判 性 思维 的 人 更 加 理性 、 更 加 开放 、 尊 重 事实 、 不 走 极端 。 至 于 是 不 是 
容易 得 菲 人 ， 这 束 要 看 个 人 的 沟通 搁 巧 ， 以 及 交谈 的 对 象 是 不 是 一 个 批 
判 性 思考 者 。 批 判 性 思维 是 每 个 人 都 应 该 具备 的 思维 方式 和 思维 能 
对 各 种 信息 以 事实 为 依据 进行 分 析 和 推理 ， 审 慎 地 做 出 判断 。 当 然 ， 每 
个 人 在 塔 养 目 己 批判 性 思维 能 力 的 同时 ， 也 要 提高 目 己 的 综合 素质 ， 包 
括 协 作 和 沟通 的 能 力 。 











对 于 希望 具备 批判 性 思维 的 人 来 说 ， 需 要 培养 的 最 重要 的 技巧 就 是 
善于 提问 ， 也 就 是 问 问题 能 不 能 问 到 点 子 上 。 探 索 式 测试 的 核心 〈 出 发 
点 ) 束 是 质疑 系统 ， 不 断 深入 系统 的 每 一 个 业务 入 口 、 应 用 场景 、 业 务 
操作 和 数据 输出 等 进行 质疑 ， 质疑 系 个 地 方 存在 某 类 缺陷 ,开发 人 员 对 
需求 的 误解 、 需 求 的 遗漏 、 错 误 的 代码 实现 和 数据 输入 缺乏 保护 等 。 


因此 ， 批 判 性 思维 特别 适合 探索 式 测试 。 测 试 人 员 不 断 地 回 系 
统 “ 提 出 ”问题 “质疑 系统 ) ， 然 后 审视 系统 所 做 出 的 回答 (系统 的 啊 
应 ) ， 从 而 根据 司 发 式 的 测试 预言 做 出 判断 : 系统 的 啊 应 是 否 符合 我 们 
的 期 望 。 测 试 人 员 的 每 一 次 操作 都 是 癌 被 测 系统 “提出 ”一 个 问题 ， 输 出 
结果 就 是 被 测 系统 给 出 的 “回答 >”。 接 着 ， 测 试 人 员 对 系统 返回 的 结果 进 
行 分 析 、 评 佑 ， 然 后 决定 下 面 的 操作 和 输入 。 束 这 样 不 断 地 变换 操作 ， 
每 一 步 的 操作 环 坏 相 扣 ， 直 到 你 确信 整个 操作 过 程 符合 预期 结果 ， 或 
者 ， 直 到 你 发 现 了 一 个 疑点 ， 然 后 针对 这 个 疑点 展开 调查 、 分 析 和 取 
证 ， 也 就 是 进行 缺陷 定位 。 





7.5.2 角色 扮演 


探索 式 测 试 特别 适合 采用 基于 场景 的 测试 方法 ， 测 试 人 员 设 计 出 需 
要 扮演 的 用 户 角 色 ， 并 设想 用 户 角色 在 使 用 产品 时 会 遇 到 哪些 典型 的 应 
用 场景 ， 然 后 在 测试 中 轮流 扮演 这 些 用 户 角 色 ， 禾 盖 典 型 的 用 户 场景 ， 
并 根据 具体 测试 情况 不 断 挖掘 新 的 场景 。 


用 户 角 色 的 创建 不 是 由 测试 人 员 和 凭空 想象 出 来 的 。 一 个 用 户 男 像 
Cpersona) 可 以 理解 为 一 个 代表 大 多 数 用 户 目标 、 行 为 和 观点 的 原型 。 
迈克 :科恩 在 《用 户 故 事 与 敏 捷 方 法 》 中 介绍 了 在 定义 用 户 故 事 之 前 敏 
捷 团 队 需 要 为 用 户 角色 建 模 。 这 说 明 在 需求 阶段 ， 测 试 人 员 就 应 该 已 经 
参与 到 用 户 角 色 的 创建 ， 但 这 并 不 是 为 产品 创建 用 户 角色 的 起 点 。 一 个 
产品 不 可 能 满足 所有 用 户 的 需求 ， 因 此 ， 团 队 需 要 通过 市 场 调 研 ， 提 烁 
出 典型 用 户 的 需求 和 个 人 特征 ， 然 后 把 用 户 塑 造成 真实 可 信 的 具体 人 
物 ， 每 一 个 用 户 角 色 代 表 一 类 典型 用 户 。 为 了 让 用 户 角色 逼真 ， 还 会 给 
每 个 典型 用 户 起 名 字 ， 描 述 其 年 龄 、 性 格 、 职 业 ， 总 之 越 逼 真 越 好 。 通 
第 这 是 产品 经 理 进行 产品 定义 、 需 求 分 析 的 第 一 步 。 敏 捷 团 队 在 为 用 户 
故事 创建 角色 时 理应 参考 上 述 用 户 角色 。 





测试 人 员 参 考 这 些 已 经 创建 的 用 户 角 色 来 设计 在 探索 式 测 试 中 需要 
扮演 的 角色 。 例 如 ， 可 以 为 一 个 在 线 教育 App 设 计 下 面 两 个 用 户 角色 。 


利 奥 ， 男 ，25 岁 ， 一 名 刚 从 大 学 计算 机 系 毕 业 的 软件 工程 师 ， 性 格 
内 问 ， 绪 交 的 朋友 大 多 是 和 他 一 样 的 开工 程 师 。 利 奥 刚 刚 加 入 一 家 互联 
网 企业 ， 有 很 强 的 求知 欲 ， 热 衷 于 学 习 各 种 先进 的 IT 技术 。 每 天 上 下 班 


都 坐 地 铁 ， 在 路 上 要 花费 两 个 半 小 时 ， 其 间 通 过 App 上 的 音频 或 视频 进 
行 学 习 ， 希 望 能 了 解 技术 细节 ， 对 课程 每 一 讲 的 时 间 没有 要 求 。 


南 希 : 女 ，31 岁 ， 一 名 有 8 年 工作 经 验 的 研发 部 门 经 理 ， 性 格 开 
朗 ， 喜 欢 在 朋友 圈 分 享 专业 知识 和 心得 体会 。 平 时 开车 上 下 班 ， 经 常 早 
出 晚 归 ， 避 开 上 下 班 高 峰 ， 每 天 花 在 路 上 的 时 间 是 40 分 钟 。 她 崇尚 学 习 
型 团队 的 构建 ， 经 常 给 团队 寻找 一 些 培训 资源 。 她 希望 自己 的 团队 能 够 
系统 地 学 习 软 件 开发 技术 ， 并 且 逐 渐 提 高 自己 的 综合 素质 ， 如 沟通 技 
巧 、 思 维 方式 等 。 在 上 下 班 路 上 ， 她 会 收听 音频 课程 。 她 也 常常 在 办 公 
计算 机 上 浏览 课程 的 文字 内 容 。 








另外 ， 我 们 也 可 以 答 试 设计 一 些 极端 人 物 角色 ， 这 样 常常 会 帮助 我 
们 关注 一 些 正常 情况 下 测试 不 到 的 场景 。 








汤姆 : 一 名 IT 部 门 的 工程 师 ， 他 热衷 于 获取 未 授权 的 、 喜 欢 的 内 容 
并 转发 给 同事 或 朋友 ， 哪 伯 这 是 侵权 行为 。 





7.5.3 ”场景 挖掘 


确定 了 要 扮演 的 角色 ， 接 下 来 测试 人 员 就 要 把 自己 代入 这 个 角色 ， 
想象 这 个 角色 会 遇 到 哪些 场景 ， 会 友 生 哪些 故事 。 这 时 ， 就 需要 测试 人 
员 充 分 利用 发 散 性 思维 《〈 像 编写 剧本 一 样 ) ， 去 讲述 一 个 个 测试 故事 。 
当 我 们 发 现 pug 时 ， 故 事 进 入 高 潮 ， 开 始 于 绕 缺 陷 进 行 分 机， 直到 能 够 
定位 缺陷 。 


下 面 笔者 就 开始 为 IT 职场 新 人 利 奥 编 写 一 个 测试 故事 。 


周一 的 早晨 ， 利 奥 正在 乘坐 地 铁 赶 入 公司， 他 今天 想 开始 学 习 一 门 
关于 大 数据 的 课程 ， 于 是 打开 在 线 教育 App 进 行 搜索 ， 找 到 了 几 门 相关 
的 课程 。 他 一 一 试看 之 后 选中 了 其 中 一 个 诬 程 ， 要 付 球 的 时 候 突 然 想 起 
来 前 两 天 有 个 朋友 在 朋友 圈 里 分 享 过 这 门 读 。 于 是 他 找到 了 朋友 分 享 的 
课程 海报 ， 通 过 二 维 码 购买 了 课程 。 然 后 ， 他 戴 上 耳机 开始 听课 了 。 当 
听 到 第 3 讲 时 ， 他 友 现 对 一 个 技术 点 不 太 明 白 ， 于 是 他 按 了 暂 集 键 ,在 
这 一 讲 的 下 面 给 讲师 留言 《 问 了 一 个 问题 )》， 并 希望 能 尽快 得 到 讲师 的 
答复 。 这 时 候 该 下 车 了 ， 他 决定 等 下 班 的 时 候 再 继续 学 习 。 因 为 这 个 谍 
程 不 错 ， 所 以 他 也 生成 了 自己 的 海报 ， 并 把 它 分 享 到 了 朋友 图 。 








这 个 测试 故事 至 少 履 兰 了 下 面 的 测试 点 : 
。 在 手机 App 里 搜索 课程 ; 
。 课程 试看 ; 
。 通过 分 盏 海报 购买 谍 程 ; 


。 戴 者 耳机 通过 音频 + 视频 方式 进行 谍 程 学 习 ; 


。 生成 自己 的 海报 并 分 享 。 


对 于 上 面 每 一 个 测试 点 ， 还 可 以 继续 挖 据 更 加 有 具体 的 测试 场景 ， 如 
图 7-11 所 示 ， 相 当 于 Leo 的 测试 故事 的 第 2 层 场 景 〈 更 具体 的 测试 点 )。 








对 于 第 2 层 场 景 的 每 个 测试 点 ， 我 们 还 可 以 继续 挖掘 出 第 3 层 场 景 ， 
这 里 只 举 一 个 例子 ， 在 第 4 个 测试 点 中 的 场景 提 到 利 奥 发 现 手 机 电量 不 
多 了 。 那 么 ， 这 个 场景 如 果 继 续 挖 掘 的 话 ， 第 3 层 的 场景 可 以 描述 如 
下 。 


利 奥 担 心 手机 电量 不 足以 支撑 到 他 到 公司 ， 于 是 他 把 App 放 到 后 台 
运行 ， 一 边 听 课 ， 一 边 进入 手机 “设置 ”中 的 电池 管理 ， 并 进行 了 “一 键 
省 电 ? 操 作 ， 关 闭 了 正在 运行 的 其 他 App， 设 置 成 < 省 电 模式 ”， 然 后 回 到 
App 继 续 听 谍 。 过 了 一 会 儿 ， 手 机 提示 电量 不 足 10% 了， 于 是 他 暂停 听 
读 ， 让 App 后 人 台 运 行 ， 再 次 进入 电池 管理 ， 设 置 成 < 超级 省 电 模 式 ”， 然 
后 回 到 App 继 续 听 课 。 











到 此 ， 想 必 读 者 已 经 理解 了 引入 角色 扮演 和 进行 场景 挖掘 的 必要 
性 。 如 果 测 试 人 员 能 把 自己 真正 代入 一 个 具体 的 角色 ， 就 会 丛 这 个 用 户 
角色 想象 出 各 种 场景 ， 这 还 不 包括 在 测试 中 根据 测试 情况 随时 调整 测试 
思路 ， 即 兴 发 挥 挖掘 出 的 更 多 场景 。 











对 于 热衷 于 获取 未 授权 内 容 的 汤姆 ， 我 们 会 想到 他 可 能 会 试图 复制 


课程 文字 内 容 并 分 享 出 去 。 如 果 App 还 没有 阻止 内 容 复制 的 功能 ， 忆 
这 很 可 能 是 一 个 新 的 产品 需求 ， 而 且 优先 级 应 该 比较 高 。 


利 奥 按照 课程 分 类 进行 查找 ， 然 后 输入 关键 词 进行 
搜索 ， 他 希望 得 到 包含 “大 数据 ”的 所 有 内 容 ， 然 
后 逐个 查看 是 否 符合 自己 的 需要 ， 他 同时 希望 返回 。 课程 分 类 查找 
的 结果 可 以 按照 课程 形式 分 别 显示 

关键 词 搜索 






利 奥 挑 选 了 一 些 课程 和 内 容 进行 试看 ， 他 不 仅 试 。 课程 试看 
看 了 文字 部 分 ， 还 听 了 一 部 分 音频 和 观看 了 一 部 
分 视频 ， 是 他 似乎 忘 了 这 时 候 没有 连接 Wi-Fi ， | 课程 试听 


是 会 拓 妆 手机 流 充 量 
课程 试看 手机 网 络 


用 耳机 听课 


利 身 打下 微 信 找 到 一 位 朋友 前 几 天 分 享 的 课程 海 
报 。 他 快速 览 了 海报 信息 ， 然 后 通过 海 所 上 的 
二 维 码 顺 利 进入 了 课程 。 不 过 利 奥 对 这 个 课程 分 。 ,yo 一 
享 功能 很 好 奇 ， 于 是 了 解 了 一 下 。 他 还 是 决定 先 “海报 内 容 + 二 维 码 
— 买 课程 。 利 奥 习惯 使 用 支付 宝 进 行 支付 ， 但 随后 [推广 列表 
通过 分 享 | 。 决定 这 次 试 汪 用 向 信 支 人 


海报 购买 推广 攻略 
课程 
课程 支付 


3 利 奥 按照 系统 提示 返回 在 线 教育 App， 在 已 购 
利 奥 的 测试 故事 课程 里 找到 了 刚才 购买 的 课程 。 他 戴 上 蓝牙 耳 
机 从 第 一 讲 开始 听课 ， 过 了 一 会 儿 ， 他 切换 到 用 耳机 听课 


观看 视频 和 文字 方式 ， 过 了 一 会 儿 手 机 提示 电 
量 不 足 20% 了 ， 于 是 他 切换 回音 频 模式 视频 、 音 频 、 文 字 阅 读 
电量 低 时 进行 课程 学 习 
















在 听 到 第 3 讲 的 时 候 ， 利 奥 有 一 个 技术 问题 不 太 明 
白 ， 于 是 他 暂停 了 课程 ， 开 始 给 讲师 留言 。 他 起 
让 讲师 清楚 自己 的 问题 ， ea 
模式 找到 刚才 看 到 的 课程 PPT 内 容 并 截取 了 一 
a 

又 苗 述 了 自己 的 问题 宫 。 他 二 停 课程 进行 留言 
不 确定 是 否 发 表 成 功 ， 好 在 地 在 “我 的 留言 区 。 “全 课程 进行 儿 言 
域 里 看 到 了 这 个 留言 一 边 听课 一 边 留 言 


在 留言 里 添加 图 片 





课程 留言 


利 奥 顺利 生成 了 海报 ， 确 认 无 误 后 ， 他 先 把 海报 保 生成 海报 
存 到 手机 里 ， 然 后 分 享 到 朋友 圈 。 他 又 想到 有 个 有 
友 也 想 学 习 “ 大 数据 ”方面 的 知识 ， 于 是 他 又 复制 。 | 分 享 海报 


一 了 课程 链接 并 单独 发 送 给 了 这 个 微 信 朋 友 
保存 海报 到 手机 
发 送 课程 链接 


图 7-11 利 奥 的 测试 故事 的 第 2 层 场景 及 测试 点 


7.6 ”探索 式 测 试 的 具体 技巧 


在 敏捷 测试 中 ， 我 们 提倡 采用 SBTM 管 理 探索 式 测试 ， 而 SBTM 中 
的 会 话 章程 相当 于 粗 粒 度 的 测试 脚本 ， 对 每 个 测试 任务 定义 了 需要 扮演 
的 用 户 角色 、 场 景 及 测试 环境 。 因 此 ， 和 人 敏捷 测试 中 的 探索 式 测试 是 基于 





场景 的 、 不 同 于 完全 目 由 风格 的 测试 。 在 计划 和 设计 阶段 ， 测 试 人 员 需 
要 综合 运用 各 种 测试 方法 和 技术 进行 测试 任务 设计 、 场 景 扩 展 和 数据 准 
备 ， 如 事件 流 图 ， 以 及 等 价 类 、 边 界 值 、 决 策 表 等 。 在 测试 执行 过 程 
中 ， 事 先 设计 好 的 应 用 场景 、 环 境 和 测试 数据 也 需要 测试 人 员 运 用 测试 
方法 和 技术 根据 上 下 文 来 调整 。 因 此 ， 虽 然 探索 式 测试 本 身 不 是 一 种 测 
试 技 术 ， 但 测试 人 员 需 要 掌握 一 些 具体 的 技巧 和 方法 ， 以 便 更 好 地 设计 
和 执行 测试 ， 这 不 但 包括 上 述 通 用 的 软件 测试 技术 ， 而 且 包 括 针 对 探索 
式 测试 提出 的 一 些 具 体 技巧 。 





在 詹姆斯 :A. 惠 特 克 所 著 的 《探索 式 软件 测试 》 一 书 中 介绍 了 两 种 
基于 场景 的 测试 技巧 : 一 种 是 在 基础 场景 中 加 入 操作 变化 ， 衍 生出 更 多 
的 场景 ， 男 一 种 是 通过 漫游 测试 法 引入 变化 。 漫 游 测试 法 把 测试 人 员 想 
象 成 一 个 旅游 者 ， 介 绍 了 在 不 同 的 区 域 《 商 业 区 、 历 史 区 和 娱乐 区 等 ) 
如 何 通过 漫游 进行 测试 ， 在 不 同 的 场景 下 如 何 引 入 变化 ， 其 中 包含 20 多 
种 具体 测试 技巧 。 在 史 腕 和 高 翔 合 着 的 《探索 式 测 试 实践 之 路 》 中 ， 
对 多 位 测试 专家 提出 的 测试 方法 结合 实践 重新 做 了 总 结 和 梳理 。 本 节 将 
关 重 介绍 儿 种 适合 敏捷 测试 的 探索 式 测试 技巧 。 

















7.6.1 业务 路 径 测 试 


会 话 章程 中 定义 的 是 这 个 测试 任务 要 禾 冀 的 核心 用 户 场 景 ， 测 试 人 
员 在 测试 开始 前 最 好 根据 用 户 角 色 和 测试 任务 挖掘 更 多 的 场景 ， 列 出 转 
绕 核 心 场景 的 所 有 衍生 场景 ， 并 在 此 基础 上 夯 出 事件 流 图 或 者 系统 状态 
图 ， 然 后 在 测试 过 程 中 ， 根 据 事 件 流 图 或 状态 图 进行 探索 式 测 试 。 场 景 








操作 法 既 可 以 用 于 测试 前 对 场景 的 挖掘 和 完善 ， 叉 可 以 在 测试 过 程 中 针 
对 事先 设计 好 的 场景 注入 变化 ， 如 插入 步 又、 删除 步骤 、 符 换 步 又、 重 
复 步 又 、 葵 换 数据 和 葡 换 环境 ， 从 而 得 到 扩展 或 衍生 的 场景 。 场 景 操 作 
模型 如 图 7-12 所 示 。 


蔡 换 环境 


删除 步骤 











图 7-12 场景 操作 模型 
1) 插入 步骤 : 在 基础 场景 中 增加 额外 的 步 又， 从 而 测试 更 多 的 功 

能 ， 这 包括 给 场景 增加 更 多 的 数据 ， 增 加 一 些 附加 输入 ， 访 问 与 基础 场 

景 有 关 的 新 的 界面 。 这 样 做 的 目的 是 通过 多 样 性 的 数据 验证 功能 及 其 相 

关 功 能 的 正确 性 。 这 里 我 们 仍然 以 在 线 教育 App 的 测试 为 例 。 
示例 如 下 。 


。 场景 要 求购 买 一 个 课程 ， 测 试 人 员 可 以 购买 几 个 不 同类 别 的 课程 ， 
增加 已 购 谍 程 的 数据 。 

。 场景 要 求 为 一 个 课程 写 一 条 留言 ， 测 试 人 员 可 以 在 写 完 留言 后 ， 再 
对 其 他 学 员 的 留言 进行 评论 和 点 赞 。 


。 场景 要 求 在 分 销 中 心里 进行 收益 提现 的 操作 ， 测 试 人 员 可 以 先 单 
击 “ 收 益 详 情 ?界面 查看 “ 竺 入账? 金额 ， 以 及 “交易 流水 ”信息 ， 然 后 


进行 收益 提现 操作 。 





2) 删除 步骤 : 在 执行 测试 场景 时 ， 去 挥 可 选 的 步 又 ， 使 场景 的 步 
又 尽 可 能 减少 。 这 样 做 的 目的 是 验证 产品 在 缺少 信息 或 从 属 功能 时 的 正 
确 性 。 








例如 ， 场 景 要 求 登录 在 线 教育 App、 查 找 课程 、 试 听 、 购 买 课程 、 
退出 当前 账号 ， 最 后 退出 App。 新 的 场景 中 可 以 逐渐 删除 其 中 的 步 又 ， 
如 购买 课程 后 直接 退出 App， 或 者 查找 课程 后 直接 购买 。 








3) 蔡 换 步 又 : 如 果 场 景 中 菏 些 步骤 有 多 个 不 同 的 选项 ， 在 执行 时 
就 可 以 选择 蔡 换 选项 形成 新 的 操作 步骤 和 场景 进行 调试 。 这 样 做 的 目的 
征 验 证 产品 中 不 同 的 选项 和 功能 的 正确 性 。 








例如 ,场景 要 求 使 用 礼券 支付 的 方式 购买 课程 ， 同 时 叉 提 供 了 余额 
支付 、 微 信 文 付 和 支付 宇文 付 等 多 种 购买 方式 。 在 新 的 场景 中 ， 测 试 人 
员 会 多 次 购买 课程 ， 每 次 选择 一 种 不 同 的 文 付 方式 。 








4) 重复 步骤 : 通过 重复 场景 中 的 单个 步骤 或 一 组 步骤 来 改变 执行 
顺序 。 这 种 方法 可 以 测试 新 的 代码 路 径 ， 发 现 那些 可 能 与 数据 初始 化 相 
关 的 缺陷 ， 用 来 验证 初始 化 的 完整 性 。 





例如 ， 场 景 要 求 登 录 App、 答 看 余额 、 充 值 、 通 过 “余额 文 付 ?购买 
谍 程 、 退 出 App。 训 试 人 员 可 以 在 购买 读 程 后 再 次 查看 余额 、 充 值 、 通 
过 “余额 文 付 ? 购 买 课程 ， 然 后 再 次 查看 余额 。 





5) 丛 换 数据 : 修改 或 蔡 换 产品 使 用 的 数据 源 来 改变 场景 的 条 件 ， 


如 把 测试 环境 中 的 数据 库 珍 换 成 线 上 的 数据 库 和 真实 数据 进行 测试 。 


例如 ， 按 照 天 键 字 搜索 诬 程 及 诬 程 内 容 ， 由 于 测试 环境 里 的 数据 库 
存储 的 诬 程 数据 有 限 ， 因 此 系统 啊 应 速度 很 快 ， 并 返回 正确 信息 。 于 
和 是， 测试 人 员 可 以 把 数据 源 切 换 到 导入 了 线 上 真实 读 程 数据 的 数据 库 ， 
以 验证 碍 询 速度 和 是 否 啊 应 报错 。 








6) 蔡 换 环境 : 主要 是 兼容 性 测试 ， 测 试 产 品 与 其 所 依赖 的 硬件 以 
及 第 3 方 软件 的 不 同型 号 、 版 本 之 间 的 兼容 性 。 妨 外， 测试 人 员 还 可 以 
修改 软件 所 依赖 的 一 些 本 地 设置 ， 如 手机 中 的 定位 服务 、 蓝 牙 开启 状态 
和 安全 输入 模式 等 。 


例如 ， 茶 些 手 机 App 依 赖 更 牙 进行 通信 。 在 测试 中 ， 可 以 关闭 手机 
蓝牙 功能 ， 然 后 打开 App， 以 验证 软件 是 否 弹 出 打开 蓝牙 的 提示 信息 。 


7.6.2 ”遍历 测试 


壳 历 测试 是 漫游 测试 法 中 的 一 种 ， 测 试 人 员 按 照 功能 特性 的 相似 程 
度 对 它们 进行 罗列 并 分 类 ， 然 后 对 每 类 特性 按照 特定 计划 、 路 径 顺 序 进 
行 访问 ， 从 而 快速 过 历 完 所 有 的 特性 。 用 该 方法 的 好 处 是 测试 人 员 可 以 
更 加 系统 地 测试 和 识别 其 他 方法 可 能 忽略 的 功能 特性 。 过 历 测 试 法 更 加 
关注 多 个 相似 的 、 有 顺序 关系 的 特性 之 间 是 否 正确 流转 ， 它 先 选 定 一 类 
目标 ， 然 后 使 用 最 短路 径 志 历 目标 中 的 所 有 功能 特性 ， 这 种 方法 有 助 于 
提高 功能 交互 测试 的 颖 盖 率 。 








例如 ， 列 出 在 线 教 育 App 中 所 有 用 到 分 享 键 的 功能 ， 如 课程 分 且 、 


读 程 内 容 分 享 、 留 言 分 操 和 推广 海报 分 部 等 ， 训 试 每 个 分 享 功能 提供 的 


7.6.3 ”极限 情况 的 测试 


极限 情况 的 测试 就 是 探索 软件 系统 在 允许 范围 内 的 临界 情况 下 的 运 
行 状 况 ， 以 检验 系统 的 承受 能 力 。 测 试 人 员 创 建 出 各 种 临界 、 极 限 场 
景 ， 然 后 进行 各 种 输入 、 操 作 ， 以 及 面 癌 业务 路 径 的 测试 ， 以 验证 系统 
功能 和 稳定 性 。 





探索 式 测试 通常 天 注 被 测 系 统 功能 方面 的 极限 情况 ， 一 种 是 对 侯 测 
系统 进行 各 种 非常 规 的 输入 和 操作 ， 利 用 等 价 类 和 边界 值 等 方法 ， 找 
出 输入 的 边界 值 ， 以 及 无 效 等 价 类 ， 男 外 通过 各 种 非常 规 的 操作 验证 系 
统 的 承受 能 力 ， 如 在 使 用 在 线 教育 App 时 ， 连 续 插 拔 手机 上 连接 的 耳机 
设备 ， 连 续 单 击 播放 按钮 、 暂 停 按钮 等 。 


在 应 用 程序 的 代码 中 ， 包 含 输入 检查 代码 〈ift-else 语 句 实 现 ) 和 异 
常 处 理 代码 (try-catch) ， 当 输入 数据 被 判定 为 非法 输入 时 ， 程 序 应 该 
返回 特定 的 错误 信息 并 保护 程序 免 遭 非法 数据 的 破坏 。 在 探索 式 测试 
中 ， 测 试 人 员 设 计 各 种 无 效 等 价 类 的 数据 /操作 ， 用 来 检查 程序 是 否 仍 
然 可 以 正常 运行 ， 是 否 正 确 区 分 了 合法 输入 和 非法 输入 ， 对 于 非法 输入 
是 否 返 回 了 正确 的 报错 信息 ， 信 息 中 是 否 提示 了 何 为 正确 的 输入 。 这 里 
列举 几 种 常用 的 输入 方式 。 























。 必 填 项 的 非法 输入 : 在 必 填 项 不 输入 任何 数据 。 例 如 ， 当 用 户 名 和 
密码 输入 空白 时 就 单 击 登录 按钮 ， 系 统 应 该 提示 输入 有 效 的 用 户 名 
和 密码。 





特殊 字段 类 型 的 非法 输入 : 对 于 身份 证 、 日 期 、 手 机 号码 、 邮 编 等 
特殊 字段 ， 输 入 不 应 该 被 接受 的 数据 类 型 ， 如 输入 带 有 小 数 点 的 数 
字 ， 以 及 字母 等 。 





日 期 的 非法 输入 : 系统 不 能 处 理 的 未 来 日 期 ， 与 国 年 相关 的 非法 输 
和 5 


超过 系统 限定 的 数据 长 度 : 系统 限定 用 户 名 不 超过 8 位 、 蜜 码 为 6 一 
16 位 ， 而 输入 时 试图 设置 超过 8 位 的 用 户 名 、 小 于 6 位 或 超过 16 位 的 


密码 等 。 


超过 系统 限定 的 重 试 次 数 : 当 密 码 输入 重 试 次 数 超过 限制 时 ， 碍 看 


系统 是 否 封 锁 账户 ， 并 显示 提示 信息 。 





当 因 非法 输入 或 频繁 、 重 复 操作 导致 了 应 用 程序 失效 ， 如 办 退 或 重 
局 ， 这 时 ， 测 试 人 员 应 该 继续 探索 下 去 ， 从 而 验证 及 检查 引起 程序 失效 
的 规律 和 原因 ， 答 看 日 志 中 记录 的 异常 信息 是 人 否 能 够 帮助 快速 定位 问 


匮 。 








另 一 种 是 测试 面向 业务 场景 的 边界 和 冲突 。 在 移动 App 端 ， 在 手机 
电量 低 《〈 如 低 于 10%) 、 存 储 占用 高 〈 如 大 于 95%) ， 或 者 内 存 占 用 高 
(如 大 于 90%) 的 场景 中 ， 进 行 注 册 、 登 录 、 查 询 和 购买 等 业务 操作 ， 





从 而 验证 软件 系统 的 功能 和 稳定 性 ; 另外 ， 还 包括 各 类 交叉 事件 ， 如 

App 之 间 的 切换 、 在 不 同 网 络 之 间 的 切换 ， 以 及 内 置 设备 与 外 接 设 备 间 
的 切换 。 在 服务 器 端 ， 在 服务 器 的 CPU、 内 存 占用 高 的 情况 下 ， 测 试 人 
员 进行 业务 操作 。 








男 外 ， 产 品 性 能 方面 的 极限 测试 也 可 以 通过 探索 式 测试 的 方式 来 执 
行 ， 测 试 人 员 构 造 出 高 并 发 的 业务 场景 ， 然 后 执行 某 些 测试 任务 ， 从 而 
查看 页 面 啊 应 时 间 ， 以 及 是 否 报错 等 。 


7.6.4 了 且 季 情况 的 名 试 


异常 情况 的 测试 是 指 通过 人 为 制造 各 种 异常 情况 验证 被 测 系统 的 容 
普 能 力 ， 找 出 产品 在 应 对 异常 情况 时 的 缺陷 。 测 试 人 员 利 用 每 个 可 能 的 
机 会 人 为 地 创建 恶劣 的 运行 环境 ， 如 内 存 占 满 、 网 络 不 可 用 、 数 据 库 连 
接 断 开 和 服务 器 “ 死 ? 机 等 。 这 类 测试 属于 基于 故障 注入 的 测试 ， 在 第 8 
章 会 有 更 详细 的 介绍 。 





在 介绍 事件 流 图 时 我 们 讲 过 ， 事 件 流 包 括 基 本 流 、 扩 展 流 和 有 寞 和 
流 。 首 先 国 出 基本 流 ， 然 后 添加 扩展 流 ， 最 后 在 基本 流 或 扩展 流 开 始 添 
加 有 异 币 事件。 因此 ， 异 各 事件 的 设计 可 以 从 审查 基本 场景 和 衍生 场景 开 
始 ， 在 每 一 个 需要 测试 人 员 访 问 资源 的 时 候 ， 在 资源 调用 处 设计 破坏 活 
动 。 例 如 ， 移 动 App 离 不 开 网 络 环境 的 文 持 ， 包 括 网 络 连接 、 带 宽 和 网 
络 速度 ， 那 么 在 测试 手机 App 时 ， 我 们 残 需 要 测试 App 在 各 种 网 络 腊 常 
情况 下 的 各 项 功能 。 在 测试 中 ， 使 用 模拟 网 络 异常 的 测试 工具 模拟 网 络 





延迟 、 丢 包 和 频繁 断 开 等 情况 ， 来 测试 系统 各 项 功能 是 否 正常 。 








最 后 需要 强调 的 是 ， 探 索 式 测 试 人 员 可 以 通过 学 习 和 实践 掌握 一 定 
的 测试 技巧 ， 但 最 重要 的 还 是 借助 思维 方式 的 转变 和 思维 能 力 的 培养 ， 
在 训 试 过 程 中 根据 上 下 文 构造 出 更 多 的 场景 ， 完 善 训 试 的 履 焉 范围 。 











7.7 测试 目 动 化 设计 模式 : 一 步 到 位 


在 讨论 基于 事件 流 图 的 测试 设计 时 ， 我 们 就 己 经 触及 基于 模型 的 测 
试 (model-based testing，MBT) 。 基 于 模型 的 测试 是 指 从 抽象 模型 自动 
生成 抽象 的 测试 用 例 集 (abstract test suite) ， 再 从 抽象 的 测试 用 例 集 生 
成 具体 的 测试 数据 /脚本 等 所 包含 的 过 程 和 技术 。 事 件 流 图 、 有 限 状 态 
机 等 可 以 看 作 测 试 模型 ， 基 于 模型 的 自动 化 测试 才 是 更 为 彻底 的 自动 化 
测试 。 因 为 基于 模型 的 自动 化 测试 可 以 自动 生成 测试 用 例 或 对 应 的 自动 
化 测试 脚本 ， 然 后 自动 执行 相应 的 测试 脚本 ， 而 日 常 我 们 讨论 的 自动 化 
测试 ， 只 能 算 半自动 化 测试 一 一 测试 执行 自动 化 ， 而 脚本 的 开发 还 是 手 
工 的 。 

















基于 模型 的 测试 中 的 模型 是 基于 需求 或 业务 分 析 而 创建 的 ， 之 前 在 
介绍 BDD 及 其 自动 化 实践 时 已 经 讨论 过 : 通过 BDD 自 动 化 框架 
Cucumber 的 Feature 文 件 实现 可 执行 的 业务 规范 ， 和 直接 让 需求 可 执行 
64“ 活 ? 文 档 ) 。 也 就 是 说 ， 从 软件 开发 的 源头 一 一 需求 者 手 ， 将 需求 直 
接 转 换 为 自动 化 测试 脚本 ， 真 正 实 现 了 “一 步 到 位 ”的 自动 化 测 
试 。.feature 文 件 如 下 所 示 。 








Scenario Outline: A user withdraws money from an ATM 
Given <Name> has a valid Credit or Debit card 
And their account balance is <OriginalBalance> 
When they insert their card 
And withdraw <WithdrawalAmount> 
Then the ATM should return <WithdrawalAmount> 
And their account balance is <NewBalance> 


Examples: 


OriginalBalance WithdrawalAmount NewBalance 


1606 











男 外 ， 我 们 是 不 是 可 以 通过 设计 模式 实现 测试 数据 的 自动 生成 ? 通 
过 讨论 上 述 内 容 ， 你 将 了 解 有 哪些 测试 自动 化 设计 模式 可 用 ， 如 何 做 到 
比较 彻底 的 自动 化 测试 ， 即 “一 步 到 位 ”的 效果 。 





7.7.1 基于 模型 的 自动 化 测试 


基于 模型 的 目 动 化 测试 ， 可 以 从 大 家 熟悉 的 决策 表 、 因 果 图 开始 。 
Bender RBT 工 具 提 供 了 因果 图 辅助 设计 ， 并 能 根据 因果 图 自动 生成 决 集 
表 ， 从 而 生成 对 应 的 测试 用 例 。 提 到 组 合 工具 ， 还 有 微软 公司 的 
PICT (pairwise independent combinatorial testing tool) 和 NIST 的 
ACTS (automated combinatorial testing for software) ， 能 够 生成 不 同 强 
度 组 合 的 测试 用 例 。 








7.7.2 ”状态 图 生成 测试 用 例 


如 果 回 到 我 们 前 面 所 说 的 事件 流 图 或 状态 图 ， 那 么 为 实用 的 软件 系 





统 编 号 状态 机 并 不 是 一 件 轻 松 的 事情 ， 特 别 是 当 状 态 机 本 吴 比 较 复 杂 的 
时 候 ， 需 要 投入 大 量 的 时 间 与 精力 才能 描述 状态 机 中 的 各 种 状态 ， 因 
此 ， 开 发 人 员 不 得 不 尝试 开发 一 些 工 具 来 自动 生成 有 限 状 态 机 的 框架 代 
人 码 ， 如 基于 Linux 的 有 限 状 态 机 建 模 工 具 FSME (finite state machine 
editor) 等 。FSME 能 够 让 用 户 通 过 图 形 化 的 方式 来 对 程序 中 所 需要 的 状 
态 机 进行 建 模 ， 并 且 还 能 够 自动 生成 用 C++ 或 者 Python 实现 的 状态 机 框 
染 人 代码。 又 如 ， 专 业 的 分 析 设 计 工 具 MathWorks 可 以 基于 有 限 状态 机 ， 
目 动 发 现 发 动机 或 飞机 控制 程序 的 缺陷 。 

















同样 是 基于 状态 图 模型 生成 测试 用 例 的 工具 ， 如 微软 的 Spec 
Explorer， 可 以 基于 C# 来 描述 一 组 规则 ， 并 结合 一 种 小 型 的 配置 语言 
Coordination Language 生 成 代码 ， 以 及 选择 特定 的 测试 场景 ， 然 后 通过 
依据 所 构建 的 模型 自动 生成 状态 图 ， 并 可 以 将 它们 转换 成 “二 又 树 ” 形 式 
的 树 结 构 ， 而 过 历 二 又 树 的 算法 是 成 熟 的 ， 这 样 就 可 以 生成 测试 用 例 。 





测试 用 例 一 旦 生成 ， 就 可 以 在 单元 测试 框 桨 《〈 如 NUnit) 中 独立 于 
模型 运行 ， 其 中 测试 序列 去 控制 被 测 系 统 ， 同 时 观察 待 测试 系统 的 返回 
值 ， 并 与 预期 值 进行 比较 ， 然 后 做 出 判定 : 测试 是 通过 还 是 失败 。 对 测 
试 结果 的 判定 是 对 被 测 系 统 的 一 个 重要 反馈 ， 因 为 测试 失败 ， 也 不 意味 
大 是 被 测 系统 的 缺陷 ， 可 能 模型 的 预期 行为 是 错 的 ， 即 模型 需要 修正 。 
但 基于 模型 的 测试 与 传统 人 工 测试 相 比 的 最 大 优势 就 在 于 模型 维护 方 
便 ， 修 改 模型 相对 容易 ， 一 旦 修改 结束 ， 测 试用 例 可 以 重新 生成 。 





下 面 通过 一 些 直观 的 展示 让 读者 更 好 地 了 解 基于 模型 的 测试 用 例 生 
成 的 实现 。 我 们 知道 ， 如 图 7-13 所 示 的 状态 图 可 以 描述 成 五 元 组 ， 其 测 


试用 例 可 以 表述 成 = {PD,* "GP}， 其 中 ; 





。 Fr， 市 扩 或 状态 的 前 置 条 件 ; 

。 s， 贡 点 的 输入 值 或 触发 需 ; 

。Tr， 转 换 后 的 一 组 输出 值 /结果 节点 ; 
。G， 转 换 的 防卫 条 件 集合 ; 


。 ， 节 点 或 状态 的 后 置 条 件 。 


dy Cs) B Cs) Ge) D, 
ee ~"(®, 


图 7-13 ”状态 图 示例 


图 中 的 31，32......35 表 示 不 同 的 状态 ，4、B、C、D 表 示 条 件 ， 其 
中 下 标 “y* 表 示 条 件 成 立 ， 下 标 “n”* 表 示 条 件 不 成 并 。 








我 们 还 可 以 用 对 象限 制 语言 (object constrained language，OCL) 来 
描述 前 置 条 件 和 后 置 条 件 ， 可 以 设置 不 同 的 前 置 条 件 ， 示 例如 图 7-14 所 
vs 








Context ATM :: withdraw (amount : Integer ): Boolean 
Pre: bank.atm. valid=true; 

Pre: bank.network.alive=true; 

Pre: customer.account.balance>=0 and 


account.balance >= amount. 


图 7-14 ”前 置 条 件 


给 定 前 置 条 件 下 的 后 置 条 件 ， 示 例如 图 7-15 所 示 ， 


Context ATM :: withdraw (amount : Integer ): Boolean 
Pre: pindccepted and withdraw=true 
Post: if (withdraw=true) 

then customerAccountClose 

dand 

result=AtmCardReturn::true 

else ifrnumberOfPinTrials> 3) 

then customerAccountClose 

and 

result=AtmCardReturn::true 
endif 


图 7-15 ”给 定 前 置 条 件 下 的 后 置 条 件 


生成 的 测试 用 例 的 伪 代 码 ， 示 例如 图 7-16 所 示 。 


Take all paths 8={6,, 6,, ,0 from the start to end node in 
DFSM. 
FOR each path 6,e6 do 
Ne—N: 
F<—D /Initially testcase for the operation 
/scheme OpScm; will be empty. 
N.—N, //Move to next node of OpScm, 
WHILE (N.AN,) 
E.=(t,, S, R, G) /The event of N.. 
IFG= 中 THEN 
T= {P25 SP} 
T=Ti:UT 
ENDIF 
IF G# DP THEN 
= 二 
[=TiUT 
ENDIF 
N. 一 N, /Go to next node of N， 
/on the pat 人 
T=T UT; 
ENDWHILE 
Determine the final output >, and P, from 
the operation Scheme OpScm; stored in NI. 
T= {P,, 2,, 5,, G, P,} 
T— TUT/Add the test case to test set 
ENDPOR 
ENTURN (T) 
STOP 


图 7-16 ”生成 的 测试 用 例 的 伪 代 码 











我 们 不 但 可 以 基于 基于 模型 的 测试 方法 生成 测试 用 例 ， 而 且 可 以 基 
于 规范 的 接口 文档 生成 测试 用 例 。 即 使 不 采用 人 工 智 能 技术 ， 采 用 一 般 
的 技术 也 能 基于 规范 的 API 文 档 生 成 测试 用 例 ， 因 为 接口 测试 设计 实质 
就 是 要 解决 接口 参数 的 测试 数据 设计 。 例 如 ， 接 口 文档 采用 Swagger 或 
Open API 3.0 规 范 来 描述 ，GET 接 口传 递 query 参 数 ，POST 接 口传 递 
formData 参 数 等 ， 这 样 通 过 解析 Swagger 的 JSON 数 据 ， 就 可 以 自动 生成 
测试 代码 。 


GET 接 口 定 义 示 例如 下 。 





parameters : 
-in: query 
name: offset 


type: integer 

required: false 

default: 6 

minimum: 6 

description: The number of items to skip before starting to collect the 
result set . 
-in: query 

name: limit 

type: integer 

required: false 

default: 26 

minimum: 1 

maximum: 166 

description: The number of items to return. 





POST 接口 定义 示例 如 下 。 


paths : 
/Survey : 
post: 
summary: A sample survey. 
consumes: 
-application/x-www-form-urlencoded 
parameters: 
-in: formData 
name: name 
type: string 
description: A person's name. 
- in: formData 
name: fav_number 
type: number 
description: A persons's favorite number. 
responses: 
200 : 
description: OK 





7.7.3 测试 数据 的 目 动 生成 





在 测试 中 ， 有 时 测试 用 例 残 是 测试 数据 ， 如 果 能 生成 这 类 测试 数 
据 ， 就 相当 于 生成 测试 用 例 ; 而 有 时 是 构造 业务 数据 ， 为 功能 测试 服 








务 ， 有 时 是 构造 大 量 的 数据 ， 为 性 能 测试 服务 。 总 之 ， 无 论 是 作为 测试 
用 例 的 数据 ， 还 是 作为 支撑 测试 的 数据 ， 这 类 数据 可 以 统称 为 测试 数 
据 。 





因此 ， 测 试 数据 的 生成 一 直 是 我 们 所 关注 的 。 之 前 ， 我 们 可 能 借助 
正则 表达 式 、 数 据 库 SQL 语句 、 存 储 过 程 或 JDBC 接 口 等 批量 生成 测试 
数据 ， 现 在 可 以 借助 一 些 工 具 完 成 ， 如 阿里 巴巴 的 数据 管理 DMS， 开 源 
的 TestDataBuilder (Java) 、python-testdata 等 。 例 如 ， 阿 里 巴巴 的 数据 
管理 DMS 可 以 根据 需求 选择 目标 数据 库 和 数据 库 表 ， 然 后 配置 表 的 各 个 
列 的 生成 方式 ， 如 随机 、 自 定义 、 逻 辑 依赖 和 枚 举 等 。 


这 里 以 Python 开发 的 python-testdata 为 例 ， 说 明 如 何 生成 所 需 的 测试 
数据 。python-testdata 不 但 提供 DictFactory 类 来 生成 数据 ， 而 且 提 供 特定 
的 扩展 功能 。 每 个 Factory 实 例 均 可 用 于 生成 用 户 所 需要 的 特定 个 数 的 数 
据 ， 生 成 数据 可 以 存储 到 数据 库 或 基于 数据 库 的 文档 。 








python-testdata 提 供 了 下 列 一 些 类 (功能 


Factory， 上 所 有 工矿 的 基 类 ; 


DictFactory， 人 允许 子 类 创建 具有 特定 模式 、 字 典 的 Factory; 


ListFactory， 在 每 次 欠 代 时 ， 返 回 给 定 Factory 调 用 中 返回 的 
elements_per_list 项 目的 列表 ; 


Callable， 获 取 可 调用 对 象 作 为 参数 ， 并 在 每 次 过 代 时 返回 调用 该 
对 象 的 结果 ; 


。 DependentCallable， 获 取 可 调用 对 象 作为 参数 ， 并 在 每 次 迭代 时 ， 
返回 作为 参数 传递 的 对 象 的 调用 结果 ; 


。 ClonedField， 复 制 另 一 个 Factory 值 的 Factory; 
。 RandomDateFactory， 生 成 两 个 日 期 之 间 的 随机 日 期 ; 


。 DateIntervalFactory， 从 基数 开始 生成 日 期 时 间 对 象 ， 同 时 在 每 次 迭 
代 中 辐 其 添加 增 量 ; 


。 RelativeToDatetimeField， 相 对 于 另 一 个 datetime 字 段 生 成 datetime 对 
象 。 


生成 测试 数据 的 代码 示例 如 下 。 


import testdata 


EVENT_TYPES = ["USER DISCONNECT", "USER CONNECTED", "USER LOGIN", "USER LO 
GOUT"] 
class EventsFactory(testdata.DictFactory): 

start time = testdata.DateIntervalFactory(datetime.datetime.now(), da 


tetime.timedelta(minutes=12)) 

end time = testdata.RelativeToDatetimeField("start time", datetime.ti 
medelta(minutes=20)) 

event code = testdata.RandomSelection(EVENT_ TYPES) 


for event :in EventFactory() .generate(166) : 
print event 





生成 的 测试 数据 如 下 所 示 。 





# {'start time': datetime.datetime(26013, 12, 23, 13, 37, 1, 591878)，'end_ 
time': 

datetime.datetime(20613, 12, 23, 13, 57, 1, 591878), 'event code': 'USER CO 
NNECTED"'} 

# {'start time': datetime.datetime(26013, 12, 23, 13, 49, 1, 591878)，'end_ 


time': datetime.datetime(2013, 12, 23, 14, 9, 1, 591878), 'event code': 'U 
SER_LOGIN'} 

# {'start time': datetime.datetime(26013, 12, 23, 14, 1, 1, 591878), 'end 七 
ime': datetime.datetime(2613, 12, 23, 14, 21, 1, 591878), 'event code': 'U 
SER_DISCONNECT '} 





对 于 模糊 测试 (fuzz testing ) 方法 ， 一 方面 可 以 看 作 基 于 模型 的 测 
试 ， 另 一 方面 它 通 过 模糊 控制 器 生成 测试 数据 ， 即 通过 一 个 自动 产生 数 
据 的 模板 或 框架 《〈 称 为 模糊 控制 器) 来 构造 或 自动 产生 大 量 的 、 有 具有 一 
定 随 机 性 的 数据 作为 系统 的 输入 ， 从 而 检验 系统 在 各 种 数据 情况 下 是 否 
会 出 现 问题 。 它 最 早 是 由 麦迪 进 大 学 的 巴顿 : 米 勒 教授 开发 的 一 个 基本 
的 命令 行 模糊 控制 器 ， 以 测试 UNIX 程 序 ， 即 通过 这 个 模糊 控制 器 产生 
大 量 的 随机 数据 来 “组 炸 ”UNIX 程 序 直至 其 有 衣 尝 。 之 前 模糊 测试 应 用 不 
多 ， 而 当 互 联网 应 用 越 来 越 普 裔 时， 软件 系统 的 安全 性 成 为 人 们 关注 的 
焦点 ， 模 糊 测 试 方法 又 重新 得 到 重视 。 

















模糊 测试 方法 可 以 模拟 黑客 来 对 系统 发 动 攻 击 测试 ， 除 在 安全 测试 
上 发 挥 作用 之 外 ， 还 可 以 用 于 服务 器 的 容错 性 测试 。 模 糊 测 试 方法 缺乏 
严密 的 馆 辑 ， 不 去 推导 哪个 数据 会 造成 系统 破坏 ， 而 是 设 定 一 些 基 本 杠 
染 ， 在 这 些 框架 内 产生 尽 可 能 多 的 杂乱 数据 进行 测试 ， 以 便 友 现 一 些 意 
想不到 的 系统 缺陷 。 在 模糊 化 的 过 程 中 ， 测 试 数 据 会 随 着 对 可 疑 行为 的 
进一步 了 解 而 不 断 完善 。 例 如 ，HTTP 客 户 端 发 出 的 请 求 最 初 包含 了 随 
机 数据 ， 随 后 可 能 会 增加 各 种 已 知 的 有 效 数据 或 错误 数据 来 进行 更 深入 
的 验证 。 











模糊 测试 一 般 分 为 两 类 ， 也 就 是 根据 产生 数据 的 方式 不 一 样 来 分 


类 。 


。 变异 测试 (mutation-based fuzzer) ， 通 过 字符 蔡 换 、 翻 转 、 数 据 删 
除 、 数 据 增加 等 变异 技术 实现 。 


。 生成 测试 〈generation-based fuzzer) ， 基 于 符合 协议 规范 的 消息 模 
型 “数据 模型 ) 从 零 开 始 构建 异 弟 信息 。 





通过 上 述 的 讨论 ， 我 们 可 以 认识 到 ， 要 达到 测试 自动 化 “一 步 到 
位 ”的 程度 ， 有 3 种 主要 的 自动 化 设计 模式 来 实现 ， 即 : 








。 用 一 种 特定 的 领域 语言 ， 如 BDD 的 GWT 格 式 、Open API 规 范 或 其 
他 标记 性 语言 ， 来 描述 需求 文档 ， 基 于 需求 文档 生成 自动 化 测试 脚 
本 ， 让 需求 成 为 活 文档 ; 


。 将 测试 需求 抽象 成 模型 ， 如 事件 流 图 、 状 态 图 等 ， 然 后 基于 模型 生 
成 测试 用 例 ; 





。 基于 开源 工具 、 目 定义 工具 或 模糊 测试 工具 等 生成 所 需 的 测试 数 
据 。 


7.8 ”UI 脚本 开发 与 维护 的 常用 技巧 


通过 测试 “金字 塔 ” 我 们 可 以 知道 ， 要 尽量 多 做 单元 测试 和 API 目 动 
化 测试 ， 而 UI 自动 化 测试 要 少 做 ， 因 为 脚本 开发 和 维护 的 成 本 会 很 高 ， 
执行 起 来 还 不 稳定 。 但 从 业务 的 角度 来 说 ，UI 目 动 化 测试 最 接近 用 户 对 
产品 的 操作 ， 因 此 也 最 接近 用 户 需 求 。 力 外， 在 获取 不 到 API 的 情况 
下 ，UI 自 动 化 测试 也 不 得 不 做 。 因 此 ， 还 是 有 必要 介绍 一 下 UI 自动 化 测 








试 脚本 的 开 及 和 维护 。 


7.8.1 脚本 语言 和 测试 框架 的 选择 





UI 自动 化 测试 的 脚本 语言 有 很 多 选择 。 在 目前 流行 的 编程 语言 中 ， 
Java、Python、JavaScript、Ruby 都 适合 编写 自动 化 测试 脚本 。 自 动 化 测 
试 的 脚本 语言 和 被 测 软件 开发 语言 没有 关系 ， 无 论 选 择 哪 种 语言 ， 作 为 
测试 人 员 ， 需 要 有 扎实 的 编程 基础 和 代码 调试 的 经 验 。 相 对 来 说 ， 
Python 和 Ruby 语 言 更 容易 学 习 和 掌握 ， 对 于 编程 能 力 较 弱 的 初学 者 来 说 
是 不 错 的 选择 。 近 几 年 ， 在 人 工 智 能 、 机 器 学 习 方面 ，Python 语 言 的 应 
用 越 来 越 广泛 。 根 据 JetBrains 发 布 的 调查 报告 ，Selenium 是 目前 主流 的 
Web UI 自 动 化 测试 框架 ，Selenium 文 持 多 种 浏览 器 和 多 种 开发 语言 ， 还 
支持 在 多 台 机 器 上 的 并 发 测试 (Selenium Grid) ; Appium 是 目前 移动 端 
的 主流 UI 自动 化 测试 工具 ， 支 持 Android 和 iOS 平 台 上 的 原生 应 用 、Web 
应 用 ， 以 及 混合 应 用 〈Hybrid) 的 自动 化 测试 。 




















上 述 UI 自 动 化 测试 框架 提供 了 操作 Web/App 的 方法 ， 在 实际 使 用 中 
最 好 结合 其 他 的 自动 化 测试 框 染 提供 对 测试 用 例 的 组 织 和 运行 管理 ， 如 
前 面 提 到 的 BDD 自 动 化 测试 框架 Cucumber、 通 用 测试 框架 Robot 
Framework， 以 及 单元 测试 框架 pytest、unittest 等 。 这 样 会 让 测试 用 例 更 
有 结构 ， 执 行 和 管理 更 加 方便 ， 还 可 以 统计 测试 用 例 的 执行 结 


另外 一 天 优秀 的 开源 Web UI 自动 化 测试 工具 是 Cypress， 它 是 快速 
崛起 的 “后 起 之 秀 ”。 与 Selenium 相 比 ，Cypress 目 前 文 持 的 浏览 器 类 型 较 


少 《〈Chrome 和 Firefox) ， 也 只 文 持 JavaScript 语 言 ， 因 此 ， 对 于 不 熟悉 
JavaScript 语 言 的 工程 师 来 说 ， 有 一 定 的 入 门 门槛 。 但 由 于 Cypress 玉 用 
了 不 同 于 Selenium 基 于 Web Driver 的 运行 机 制 ， 因 此 其 运行 速度 更 快 。 
另外 ， 由 于 Cypress 可 以 访问 并 操作 系统 网 络 层 和 文件 系统 ， 因 此 
Cypress 可 以 自 上 而 下 地 控制 自动 化 测试 的 整个 进程 ， 这 有 助 于 提高 测 


试 运行 中 的 稳定 性 。 





无 代码 化 (codeless) 是 目 动 化 测试 未 来 的 重要 趋势 。 无 代码 化 的 
UI 自动 化 测试 工具 几乎 都 是 基于 Selenium 和 Appium 进 行 增强 和 扩展 的 。 
无 代码 化 是 指 测试 人 员 无 须 编 写 代 码 就 可 以 生成 自动 化 测试 用 例 。 
Katalon Studio 是 最 有 代表 性 的 无 代码 化 开源 测试 工具 ， 它 的 主要 功能 介 
绍 如 下 。 








。 支持 Web， 以 及 Android、iOS 移 动 应 用 的 UI 测试 ， 包 括 浏 览 器 、 移 
动 应 用 及 桌面 应 用 。 


支持 RESTful 和 SOAP 的 API 测 试 。 


通过 两 种 方式 实现 UI 测试 的 无 代码 化 : 一 种 是 录制 一 回放 ， 通 过 
Web recorder utility 接 收 应 用 程序 上 的 所 有 动作 ， 转 化 成 测试 用 例 ; 
另 一 种 是 通过 object spy 功 能 在 界面 上 捕获 元 素 对 象 来 文 持 用 户 自己 
编写 测试 用 例 。 





提供 UI 测 试用 例 自 愈 〈self-healing) 功能 : 在 测试 用 例 运 行 时 ， 当 
使 用 默认 的 定位 方法 《如 XPath) 定位 不 到 这 个 元 系 时 ， 工 具 会 目 
动 尝试 其 他 的 定位 方式 进行 元 系 定 位 (如 CSS〉， 让 测试 得 以 运 


/一 


条。 
。 支持 Selenium 测 试 脚本 的 迁移 。 
e。 支持 与 多 种 测试 管理 工具 、 持 续集 成 /持续 交付 管理 工具 的 集成 。 


与 Selenium IDE 提 供 的 浏览 器 中 的 录制 一 回放 功能 相 比 ，Katalon 
Studio 的 强大 之 处 在 于 支持 所 有 主流 的 浏览 器 ， 录 制 和 执行 测试 都 无 须 
安装 额外 的 浏览 器 ;在 一 种 浏览 器 上 录制 的 用 例 可 以 直接 选择 其 他 浏览 
器 运行 ， 在 录制 测试 步骤 的 同时 捕获 记录 需要 操作 的 界面 元 系 以 供 编辑 
和 重用 等 。 





这 里 还 是 以 Sealenium 和 Python 语言 为 例 ， 并 且 绪 合 unittest 测 试 框架 
讲解 Web UI 自动 化 测试 脚本 的 开发 和 维护 技巧 。 


7.8.2 ”UI 元 素 定位 


Selenium 经 历 了 3 次 大 的 版 本 演变 ， 目 前 Selenium 3.0 延 续 了 从 
Selenium 2.0 开 始 对 WebDriver 的 文 持 ， 其 原理 是 使 用 浏览 器 原生 的 
WebDriver 对 HIML 页 面 对 象 进行 定位 和 操作 。UI 目 动 化 测试 的 核心 就 
是 对 于 UI 中 的 元 素 进行 定位 《识别 ) 和 操作 。 


Web UI 测 试 的 操作 步骤 一 般 分 为 两 步 : 
1) 定位 网 页 上 的 UI 元 素 ， 并 获取 元 素 对 象 ; 


2) 对 元 素 对 象 进行 单 击 、 双 击 、 拖 忠 或 输入 等 操作 。 


Selenium 提 供 了 8 种 不 同 的 定位 方法 ， 开 发 脚本 时 需要 综合 运用 这 
些 定位 方法 。 表 7-2 列 举 了 不 同 的 定位 方法 和 对 应 的 Python 方 法 。 





表 7-2 ”Selenium 提 供 的 UI 元 素 定 位 方法 


UI 元 素 定 位 方法 Python 方 法 


find_element_by_id() 


find_element_by_namel() 


find_element_by_tag_name() 


find_element_by_class_name() 





link_text 定 位 find_element by_link_text() 


partial link text 定 位 find_element_by_partial_link_text() 





XPath 定位 find_element_by_xpath() 


css _selector 定 位 find_element_by_css_selector() 








WebDriver 对 UI 元 素 的 常用 操作 和 对 应 的 Python 方 法 见 表 7-3。 














表 7-3 ”Selenium 提 供 的 UI 元 素 操作 








UI 元 素 操 作 Python 方 法 





clear( ) 








模拟 按键 输入 文本 send_keys (value) 





click( ) 


2 当前 页 面 的 URL、 当 前 页 面 的 标题 ， 用 于 信 |text，current_url， 























返回 一 个 元 素 是 否 用 户 可 见 〈True 或 False) 








模拟 鼠标 各 种 操作 ， 可 以 用 来 操作 巧 停 沫 4 ActionsChains( ) 





基于 对 这 些 元 素 的 定位 方法 和 操作 ， 现 在 可 以 编写 一 个 UI 自动 化 测 
试 脚本 ， 如 下 所 示 。 





from selenium import webdriver 
from selenium.webdriver.common.by import By 
import time 





# 创建 Chrome 浏 览 器 的 webdriver 对 象 
driver = webdriver.Chrome() 

# 打开 拉 勾 教育 网 页 
driver.get("https://kaiw 


de 





# 最 大 化 网 页 
driver .maximize window() 


# 单 击 页 面 上 方 的 "登录 " 按 负 

















driver.find element_by link _ text(" 登 录 ").click() 

# 修改 登录 方式 为 用 户 名 和 密码 登录 

driver.find element by _ class name("change-login-type").click() 
# 输入 用 户 名 和 密码 

driver.find element_by_xpath('//input[@type="text"]').send_keys(" 如 电子 邮箱 
地 址 ") 

driver.find element by xpath('//input[@type="password"]').send keys("Passw 
ord123") 

# 单 击 "登录 "按钮 

driver.find element(By.CSS SELECTOR, ".sense login password").click() 

# 单 击 己 购 课程 开始 学 > 

driver.find_ element_by_xpath('//span[text()=" 高 效 敏捷 测试 49 讲 "]').click() 

# 单 击 " 开 始 学 习 " 按 钮 

driver.find element by _class name("button-wrap").click() 

# 判断 课程 标题 是 否 正确 

assert driver.find element _by_class_name("title") .text == "高 效 敏 捷 测 试 49 讲 






























































# 输出 当前 页 面 title 
print(driver.title) 





# 退出 登录 
driver.find element by _class name("unick").click() 
driver.find element_by_link_text(" 退 出 ").click() 


# 关闭 网 页 
driver .quit() 





上 述 示例 代码 执行 的 操作 步 又 如 下 : 


1) 打开 Chrome 浏 览 器 ; 


2) 打开 拉 义 教育 省 页; 


3) 然后 进行 登录 操作 ， 即 单 击 页 面 上 方 的 “登录 ”按钮 ， 选 择 “ 密 码 
登录 ”， 在 弹出 的 登录 界面 中 输入 用 户 名 和 密码 ， 接 着 单 击 “ 登 录 ” 按 
钮 ; 








4) 进入 一 个 已 经 购买 的 课程 ， 在 课程 主页 面 选择 课程 “高 效 敏捷 测 
试 49 讲 ”， 单 击 “ 开 始 学 习 ” 按 钮 ， 验 证 页 面 中 显示 的 谍 程 名 称 是 否 


确 ; 


5) 对 于 退出 登录 操作 ， 先 定位 到 页 面 上 方 的 账户 名 称 ， 再 在 悬 停 
菜单 中 单 击 “ 退 出 ”按钮 





6) 关闭 Chrome 浏 览 器 。 


以 其 中 实现 用 户 名 和 密码 输入 的 相关 代码 为 例 ， 对 密码 输入 框 的 定 
位 采用 了 XPath 的 定位 方式 ， 利 用 “type” 属 性 的 值 进行 定位 。 图 7-17 展 示 
了 测试 代码 行 、HTML 代 码 ， 以 及 登录 界面 的 密码 输入 框 之 间 的 对 应 关 
系 。 








利用 “input” 标 签 +“type” 拉 勾 


属性 定位 密码 输入 框 

















图 7-17 XPath 定 位 密码 输入 框 


7.8.3 测试 代码 的 模块 化 和 参数 化 





虽然 7.8.2 节 中 的 这 段 测 试 代码 可 以 执行 ， 但 是 有 以 下 3 个 缺点 。 


。 所 有 的 操作 步 又 都 混合 在 一 起 ， 可 读 性 比较 差 。UI 自 动 化 测试 是 最 


接近 真正 业务 流程 的 模拟 操作 ， 但 是 上 面 这 段 代 码 即 使 添加 了 注 
释 ， 给 人 的 感觉 也 比较 混乱 ， 需 要 花 时 间 理 解 这 个 测试 用 例 的 主要 
目的 。 


所 有 的 输入 数据 都 以 硬 编码 (hard code) 的 形式 写 在 测试 代码 中 ， 
代码 的 灵活 性 就 比较 差 。 例 如 ， 如 果 想 换 一 个 账户 进行 登录 ， 或 者 
换 一 个 已 购 课程 进行 检查 ， 就 需要 修改 测试 用 例 中 的 登录 信息 或 课 
程 名 称 。 








会 产生 大 量 的 重复 代码 ， 代 码 的 可 维护 性 比较 差 。 在 实际 测试 中 ， 
大 量 的 测试 用 例会 在 登录 之 后 执行 ， 并 且 在 执行 完 退 出 登录 。 这 意 
味 着 很 多 测试 用 例 需 要 包括 “登录 ”和 “退出 登录 ”的 实现 代码 。 如 果 
登录 界面 有 所 变动 ， 会 导致 测试 脚本 的 元 素 定位 或 操作 有 变化 ， 那 
么 就 需要 修改 所 有 包含 “登录 ”和 “退出 登录 ”的 测试 用 例 。 





为 了 解决 上 述 问题 ， 我 们 需要 对 上 面 的 测试 代码 进行 改造 ， 解 决 方 
案 就 是 实现 代码 的 模块 化 和 参数 化 。 模 块 化 是 指 把 可 重用 的 业务 流程 圭 
装 成 一 个 个 操作 函数 以 供 多 个 测试 用 例 调用 ， 参 数 化 是 指 把 测试 数据 从 
测试 代码 中 分 离 





7.8.2 市 中 的 那 段 代码 经 过 改造 后 ， 生 成 了 两 个 代码 文件 。 


在 第 一 个 代码 文件 中 ， 创 建 了 一 个 类 : Lagou， 这 个 类 包含 了 3 个 业 
务 操作 函数 ， 登录 、 进 入 谍 程 、 退 出 登录 。 每 个 封装 的 函数 都 可 以 单独 
执行 一 个 业务 操作 ， 并 且 可 以 被 多 个 测试 用 例 调用 。 操 作 函 数 代码 如 下 
所 示 。 


from selenium.webdriver.common.by import By 
from selenium.webdriver.common.action chains import ActionChains 


class Lagou : 
""" 初始 化 方法 ， 接 收 driver 驱 动 并 赋值 给 self.driver """ 
def _ init (self, driver): 
self.driver = driver 








[I 登录 wa 

def login(self, username, password): 
# 单 击 "登录 "按钮 
self.driver.find element_by_link _ text(" 登 录 ") .click() 
# 修改 登录 方式 为 用 户 名 和 密码 登录 


self.driver.find element by_ class name("change-login-type").cli 





























ck() 
# 输入 用 户 名 和 密码 
self.driver.find element by xpath('//input[@type="text"]').send 
_keys(username) 
self.driver.find element by xpath('//input[@type="password"]'). 





send_ keys(password) 

# 单 击 "登录 "按钮 

self.driver.find element(By.CSS SELECTOR, ".sense login passwor 
d").click() 











""" 进入 课程 """ 
def access course(self, courseName): 
# 回 到 课程 主页 面 
self.driver.find element_by_xpath('//a[text()=" 课 程 "]').click() 
# 打开 一 个 课程 
self.driver.find element by _xpath('//span[text()= 
'"]').click() 
# 进入 课程 内 容 页 
self.driver.find element by_class name("button-wrap").click() 















































+COUrseName+ 





























"" ”退出 登录 """ 

def logout(self): 
above = self.driver.find element by class name("unick") 
ActionChains(self.driver).move to element(above).perform() 
self.driver.find element_by_link_ text(" 退 出 ") .click() 




















第 二 个 代码 文件 是 测试 用 例 ， 在 调用 函数 时 ， 通 过 参数 把 测试 数据 
传递 给 函数 ， 实 现 了 测试 数据 和 测试 代码 的 分 离 。 可 以 看 到 ， 测 试用 例 
的 代码 简单 多 了 ， 在 业务 层面 上 也 更 好 理解 。 测 试用 例 代码 如 下 所 示 。 





from selenium import webdriver 
from lagou import Lagou 





二 一 辣 


# 创建 Chrome 浏 览 器 的 webdriver 对 象 
driver = webdriver.Chrome() 

# 打开 拉 勾 教育 首页 
driver.get("https://****.]agou.com/") 
# 调用 Lagou 类 并 传 入 driver 了 驱动 

lagou = Lagou(driver) 

# 登录 

lagou.login(" 用 户 名 "，"Password123") 
# 进入 一 个 已 购 课程 
lagou.access_course(" 高 效 人 敏捷 测试 49 讲 ") 

assert driver.find element_by class_name("title") .text == "高 效 敏 捷 测 试 49 讲 


























# 退出 登录 
lagou.1logout() 
driver .quit() 





7.8.4 ”Selenium 和 集成 自动 化 测试 框架 





在 实际 测试 中 ， 每 个 项 目 一 定 会 有 多 个 测试 用 例 ， 有 的 是 测试 相同 
功能 点 的 不 同 操作 ， 有 的 是 对 不 同 功能 点 的 测试 。 如 何 对 它们 进行 组 织 
和 管理 呢 ? 通过 讲解 下 面 这 个 测试 用 例文 件 ， 读 者 可 以 感受 到 Selenium 
与 其 他 自动 化 测试 框架 集成 所 带 来 的 好 处 。 这 里 以 unittest 测 试 框架 为 
例 ， 虽 然 它 被 称 为 单元 测试 的 自动 化 框 染 ， 实 际 上 也 可 以 支持 UI 目 动 化 
测试 。 

新 的 测试 用 例 代 码 中 包含 了 两 个 测试 相同 功能 点 的 测试 用 例 ， 同 时 
把 登录 操作 作为 执行 这 两 个 测试 用 例 之 前 的 准备 步骤 ， 把 退出 登录 和 退 
出 浏览 喜 的 操作 作为 两 个 测试 用 例 执行 完毕 后 的 操作 步骤 。Selenium 集 
成 unittest 测 试 框架 后 的 测试 用 例 代码 如 下 所 示 。 


from selenium import webdriver 


import unittest 
from ddt import ddt, data, unpack 
from lagou import Lagou 


@ddt 
class CheckCourseTest(unittest.TestCase): 
@classmethod 
def setUpClass(cls) : 
cls.driver = webdriver.Chrome() 
cls.driver.get("https://kaiwu.***** .com/") 
lagou = Lagou(cls.driver) 
username = "用 户 名 " 
password = "Password123" 
lagou.login(username, password) 








@data({"course_name":“" 高 效 敏捷 测试 49 讲 "}， 
"course_name": "分 布 式 技术 原理 与 实战 45 讲 "}) 
@unpack 
def test check paid course(self, course name): 
lagou = Lagou(self.driver) 
lagou.access_ course(course name) 
assert self.driver.find element by class name("title").text == 
course_name 
assert self.driver.find element_by_class_name("button") .text == 


























"查看 详情 " 
@data((' 即 学 即 用 的 Spark 实 战 44 讲 ' ) ) 
def test check unpaid course(self, course name): 
lagou = Lagou(self.driver) 
lagou.access_ course(course name) 
assert self.driver.find element by class name("title").text == 
course_name 
assert self.driver.find element by xpath('//div[@class="text in 
line-block"]').text \ 
== "本 节 为 免费 试看 ， 购 买 后 解锁 全 部 章节 " 
































@classmethod 

def tearDownClass(cls): 
lagou = Lagou(cls.driver) 
lagou.1logout() 
cls.driver.quit() 


if name == " main _": 
unittest.main() 





我 们 具体 来 看 一 下 ， 第 一 个 测试 用 例 (test_check_paid_course) 是 


进入 一 个 已 购买 的 课程 并 且 验 证 课程 信息 是 否 正 确 ;第 二 个 测试 用 例 

(test_check_unpaid_course) 是 进入 一 个 未 购买 的 课程 并 且 验 证 课程 信 
晨 是 否 正确 。 这 两 个 测试 用 例 都 调用 了 函数 access_course()。 在 组 织 测 
试用 例 时 ， 通 常会 把 测试 同一 个 功能 点 的 几 个 测试 用 例 放 在 一 个 文件 
中 


setUpClass0 和 tearDownClassO 是 unittest 测 试 框架 提供 的 两 个 类 方 
法 。 两 个 测试 用 例 在 执行 前 需要 执行 的 操作 放 在 setUpClassO0 里 ， 在 这 个 
例子 中 为 “登录 ”操作 ; 执行 完毕 后 需要 执行 的 操作 放 在 tearDownClass() 
中 ， 这 里 包括 退出 登录 和 关闭 浏览 器 。 


unittest 测 试 框架 提供 了 对 数据 驱动 目 动 化 测试 的 支持 ， 数 据 驱 动 测 
试 (data-driven testing，DDT) 是 针对 unittest 测 试 框架 涉及 的 扩展 库 ， 
通过 @ddt 和 @data 可 以 使 用 不 同 的 测试 数据 来 运行 一 个 测试 用 例 。 在 
这 个 例子 中 ， 测 试用 例 test_check_paid_course 会 被 执行 两 遍 ， 每 次 测试 
一 个 已 购 课程 ， 测 试 结果 中 也 会 显示 每 一 条 测试 数据 对 应 的 测试 结果 。 








另外 ，unittest 还 可 以 读 取 保存 在 文件 中 的 测试 数据 来 驱动 测试 用 例 
的 执行 。unittest 可 以 支持 对 CSV、JSON、YAML 文 件 的 读 取 ， 数 据 文 
件 和 对 应 的 测试 脚本 如 图 7-18 所 示 。 


一 Ee 





测试 脚本 


course_name 


图 7-18” 读 取 文件 中 的 测试 数据 


通过 上 文 的 介绍 ， 相 信 读 者 已 经 理解 了 采用 测试 框架 对 测试 用 例 进 
行 组 织 和 管理 的 好 处 : 让 测试 用 例 的 编号 更 加 规范 ， 更 方便 实现 数据 驱 
动 的 自动 化 测试 。 特 别 是 在 实际 项 目 中 的 测试 用 例 ， 一 般 有 上 百 条 ， 不 
可 能 都 放 在 一 个 测试 文件 里 ， 因 此 需要 按照 所 测试 的 功能 拆 分 成 多 个 文 
件 ， 甚 至 需要 放 在 不 同 的 目录 下 ， 此 时 测试 框架 对 多 个 测试 用 例 的 组 织 
和 管理 的 优势 就 更 加 明显 了 。unittest 提 供 了 TestSuite 类 来 创建 测试 套 
件 。 测 试 套件 是 一 组 服务 于 特定 测试 目标 的 测试 用 例 集合 。 

















需要 提醒 的 是 ， 自 动 化 测试 用 例 之 间 尽 量 不 要 有 依赖 关系 或 者 互相 
调用 ， 并 且 每 个 测试 用 例 尽量 不 要 太 复 末 ， 否 则 会 给 测试 结果 的 统计 和 
分 析 带 来 困难 。 








7.8.5 Page Object 设计 模式 





到 目前 为 止 ， 我 们 的 测试 代码 采用 了 两 层 结构 : 一 层 是 操作 函数 
( 见 7.8.3 节 ) ， 另 一 层 是 测试 用 例 〈 见 7.8.3 节 ) ， 并 且 通 过 引入 unittest 
自动 化 测试 框架 实现 了 测试 用 例 的 规范 化 和 数据 驱动 。 


下 面 要 介绍 的 Page Object 设计 模式 是 目前 进行 UI 上 自动 化 测试 的 主流 
设计 模式 。 代 码 分 层 是 Page Object 设计 模式 的 核心 ， 以 页 面 为 单位 把 页 
面 上 的 元 素 和 元 素 的 操作 封装 起 来 ， 把 属于 同一 个 页 面 的 元 素 都 放 在 一 
个 页 面 类 中 。 操 作 函 数 通 过 调用 这 些 封装 的 对 象 来 完成 对 界面 的 操作 。 











在 图 7-19 中 ， 以 操作 函数 login() 为 例 ， 展 示 了 如 何 运 用 Page Object 





设计 模式 把 页 面 元 素 的 具体 操作 从 操作 函数 中 分 离 出 来 。 在 LoginPage 
类 中 封装 了 4 个 登录 用 到 的 页 面 元 又 操作 ， 而 新 的 login0 函 数 调用 每 个 
元 素 操 作 的 具体 函数 完成 登录 操作 ， 改 造 后 的 login0 函 数 其 可 读 性 变 得 
更 好 。 当 页 面 元 素 有 更 改 时 ， 只 需要 更 改 对 应 的 页 面 元 素 封 装 函 数 ， 代 
码 的 可 维护 性 也 变 得 更 好 。 

















由 此 ， 测 试 代码 由 原来 的 两 层 结 构 变 成 了 3 层 结构 : 第 1 层 封装 了 页 
面 元 素 和 操作 ， 第 2 层 封 装 了 业务 操作 的 函数 ， 第 3 层 是 测试 用 例 。 


Page Object 提供 了 页 面 元 素 操 作 与 业务 流程 相 分 离 的 模式 ， 使 操作 
函数 的 代码 更 加 清晰 ， 可 该 性 更 强 ， 同 时 使 得 整体 目 动 化 测试 代码 的 可 
维护 性 也 增强 了 。 如 果 茶 个 页 面 的 元 素 有 了 变更 ， 那 么 只 需要 更 改 封装 
的 页 面 元 素 类 ， 而 不 用 更 改 调用 它 的 其 他 测试 类 /代码 。 


























些 页 面 元 系 有 了 改动 ， 也 应 该 对 前 端 开 发 的 质量 负责 。 然 后 ， 专 职 的 测 
试 人 员 在 此 基础 上 进一步 开发 面向 业务 的 少量 的 UI 测试 用 例 。 例 如 ， 根 
据 “ 二 八 * 原 则 ， 对 80% 的 客户 会 用 到 的 那些 20% 的 关键 页 面 操作 实现 自 
动 化 测试 。 











图 7-19 Page Object 设计 模式 的 测试 脚本 


7.8.6” 隐 式 等 待 


在 上 面 的 测试 脚本 中 ， 我 们 都 没有 琴 加 等 待 时 间 。 但 在 实际 的 测试 
脚本 里 ， 代 码 在 执行 过 程 中 经 常 需要 等 待 页面 元 素 加 载 完 毕 才 能 完成 操 
作 ， 人 否则 会 势 出 异常 ， 尤 其 是 在 发 生 了 页 面 跳 转 时 。 我 们 可 以 在 元 素 定 
位 之 前 添加 time.sleepO0 《〈 以 秒 为 单位 ) ， 但 要 在 每 个 需要 等 符 时 间 的 元 
素 定 位 之 前 都 添加 ， 而 且 是 固定 时 间 。 




















另 一 种 方式 是 添加 隐 式 等 待 ， 如 driver.implicitly_wait0。 隐 式 等 街 
是 鲁能 等 竺 方式 ， 添 加 一 次 就 会 作用 于 整个 脚本 ， 不 会 影响 脚本 的 执行 
速度 ， 设 置 的 时 间 只 是 等 待 的 最 大 时 长 。 当 脚本 执行 到 某 个 元 素 定 位 
时 ， 如 果 定 位 不 到 ， 那 么 将 以 轮 询 的 方式 不 断 地 判断 元 素 是 否 存 在 。 











7.9 ” 质 效 合 一 : 目 动 化 测试 和 手工 测试 的 完美 融 


2 
口 


在 前 面 讲 解 了 探索 式 测试 和 测试 目 动 化 的 技巧 ， 现 在 我 们 探讨 一 
下 ， 在 产品 的 一 次 迭代 开发 中 ， 什 么 样 的 测试 适合 自动 化 ， 什 么 样 的 测 
试 适合 手工 测试 ， 以 及 目 动 化 测试 和 手工 测试 怎样 结合 才能 达到 更 高 的 
质量 和 效率 。 据 笔者 了 解 ， 不 少 团队 对 这 些 内 容 是 缺乏 思考 和 明确 指导 
的 。 


7.9.1 ”一 个 关于 测试 策略 的 案例 


下 面 所 讲 的 古 一 个 测试 团队 的 真实 经 历 。 该 团队 非常 重视 测试 自动 
化 ， 自 主 研发 了 自动 化 测试 平台 ， 平 均 测 试 上 自动 化 率 达 到 了 65%， 但 是 
目 动 化 测试 在 每 个 项 目 中 平均 只 能 发 现 10% 的 有 效 缺 隐 ， 绝 大 多 数 的 缺 
陷 还 是 通过 手工 测试 友 现 的 。 测 试 团 队 的 负责 人 认为 自动 化 测试 应 该 友 
现 更 多 的 缺陷 才 更 有 价值 ， 而 之 所 以 效果 不 理想 主要 因为 下 面 两 点。 








第 一 ， 能 做 测试 目 动 化 的 人 手 不 足 : 脚本 开发 由 专门 的 测试 开 及 人 
员 完 成 ， 大 部 分 的 测试 人 员 只 做 手工 测试 ， 这 就 造成 了 测试 脚本 的 开发 
进度 比较 慢 。 对 于 一 个 新 产品 ， 往 往 在 好 几 个 版 本 和 欠 代 之 后 ， 到 了 项 目 
中 后 期 ， 测 试 脚 本 才 勉 强 开 发 完成 。 这 时 候 ， 大 部 分 的 缺陷 已 经 通过 手 
工 测 试 被 发 现 了 。 














第 二 ， 测 试 开发 人 员 不 怎么 参与 具体 的 测试 执行 ， 对 产品 和 业务 的 
了 解 不 够 。 因 此 ， 在 设计 测试 脚本 时 ， 对 业务 场景 的 考虑 不 够 全 面 。 








于 是 ， 团 队 要 求 每 一 个 测试 人 员 开 发 上 自己 负责 的 功能 模 英 的 测试 脚 
本 。 经 过 一 系列 的 培训 ， 这 个 目标 最 终 达 到 了 ， 测 试 人 员 上 自己 编写 的 测 
试 脚 本 在 业务 流程 和 功能 点 的 验证 方面 确实 也 更 全 面 。 





既然 人 力 不 足 的 问题 解决 了 ， 那 么 团队 负 贡 人 认为 测试 脚本 的 开发 
目 然 是 越 早 越 好 。 于 是 ， 团 队 要 求 每 个 项 目 都 要 争取 在 一 次 迭代 内 把 新 
功能 的 部 分 能 自动 化 的 尽量 目 动 化 。 这 样 测试 脚本 就 可 以 尽早 投入 执 
行 ， 可 以 发 现 更 多 的 缺陷 。 但 是 在 一 两 个 项 目 中 推行 了 之 后 ， 发 现 很 难 
做 到 。 测 试 人 员 抱 钨 他 们 花 在 脚本 开发 和 调试 上 的 时 间 太 多 了 ， 还 不 如 
手工 测试 ， 因 为 手工 测试 可 以 更 快 地 发 现 缺 陷 。 后 来 ， 这 个 要 求 也 就 不 
Tils 





应 该 说 ， 这 个 团队 在 普及 自动 化 测试 这 方面 做 得 不 错 。 但 是 在 测试 
执行 过 程 中 ， 测 试 负责 人 要 求 尽 早 地 开始 测试 脚本 的 开发 是 不 切实 际 
的 ， 因 为 迭代 开 肥 中 的 需求 和 设计 往往 是 逐渐 明确 的 ， 新 的 功能 也 是 逐 
渐 “ 成 长 ”起 来 的 。 用 户 故 事 的 需求 在 一 开始 往往 不 清晰 ， 常 常 在 开 及 和 
测试 之 间 不 断 答 试 ， 以 及 团队 成 员 不 断 讨 论 中 才 逐 渐 确 定 下 来 。 当 功能 
的 需求 不 明确 时 ， 无 论 是 UI 还 是 接口 的 自动 化 测试 ， 都 会 困难 重重 ， 因 
为 界面 设计 和 接口 定义 都 会 更 改 ， 验 收 标准 也 有 可 能 会 更 改 。 这 时 候 就 
开始 开 友 测试 脚本 只 能 经 历 反 复 修 改 ， 并 不 能 在 本 次 达 代 中 尽早 地 投入 
使 用 和 带 来 效益 。 























7.9.2 ”新 功能 手工 测试 ， 回 归 测 试 自动 化 





对 于 当前 迭代 的 新 功能 ， 更 有 效 的 方式 是 借助 手工 测试 ， 即 采用 探 
索 式 测试 的 方式 。 开 发 人 员 完 成 一 个 特性 ， 测 试 人 员 束 可 以 立即 展开 剖 
试 ， 发 现 问题 后 立即 和 团队 其 他 成 员 进 行 沟通 ， 及 时 纠正 ， 这 样 能 更 有 
效 地 发 现 缺陷 。 敏 捷 模 式 实施 持续 构建 ， 每 天 都 有 可 工作 的 软件 ， 但 每 
次 要 验证 的 新 软件 变更 并 不 多 ， 况 且 人 最 具有 灵活 性 ， 增 加 什么 就 测试 
什么 ， 改 了 哪里 就 测试 哪里 。 探 索 式 测试 不 需要 与 训 试 用 例 ， 效 率 更 
高 ， 更 灵活 ， 更 能 应 对 变化 。 











对 于 新 功能 ， 其 不 适合 做 目 动 化 测试 ， 但 回归 训 试 需要 依赖 高 度 的 
测试 自动 化 。 在 敏捷 开发 环境 中 ， 一 个 迭 代 周 期 通常 是 2 一 4 周 ， 最 后 验 
收 测试 只 有 几 天 时 间 ， 每 次 友 代 都 会 增加 新 的 功能 。 在 经 过 一 次 次 的 友 
代 后 ， 回 归 测 试 范 围 不 断 增加 ， 如 图 7-20 所 示 。 在 非常 有 限 的 时 间 里 ， 
既 要 完成 新 功能 的 测试 ， 又 要 完成 越 来 越 多 的 回归 测试 ， 如 果 没 有 目 动 
化 测试 ， 这 几乎 不 太 可 能 做 到 。 











已 有 特性 3 已 有 特性 已 有 特性 


Dm A A mm A A 


图 7-20 ”敏捷 达 代 中 不 断 增 长 的 回归 测试 范 

















探索 式 测 试 不 用 写 测 试用 例 ， 节 省 下 来 的 时 间 可 以 用 来 开发 目 动 化 
测试 脚本 ,但 并 非 针 对 本 次 达 代 的 新 功能 ， 否 则 你 就 会 遇 到 与 末 例 里 面 


的 那个 团队 同样 的 问题 。 测 试 人 员 应 该 开发 上 一 次 欠 代 已 实现 功能 的 目 
动 化 测试 脚本 ， 因 为 上 一 次 达 代 的 功能 特性 已 相对 稳定 ， 自 动 化 脚本 开 
发 和 调试 都 没有 什么 障碍 ， 效 率 也 相对 较 高 。 新 开发 的 测试 脚本 添加 到 
目 动 化 回归 测试 集 ， 尽 量 保证 回归 测试 可 以 全 部 上 自动化。 





这 就 是 笔者 建议 的 自动 化 测试 和 手工 测试 有 机 结合 的 策略 ， 新 功能 
采用 探索 式 测试 ， 回 归 测试 尽量 全 部 自动 化 ， 如 图 7-21 所 示 。 在 每 次 
帮 代 的 前 半 段 ， 针 对 本 次 迭代 〈 六 ) 的 新 功能 进行 探索 式 测试 ， 并 针对 
上 一 次 交代 1-1) 实现 的 功能 进行 脚本 开发 ， 在 和夫 代 的 后 半 段 ， 针 对 
以 往 所 有 迁 代 《0 一 太 -1) 的 功能 特性 进行 自动 化 回归 测试 。 
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当前 迭代 /新 等 性 的 探索 式 ; /~ 性 站 
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挝 代 之 中 持 | 
迁 代 N+1(4,) @ @ 0 
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当前 适 代 履 :新 特性 的 探索 式 测试 (人 -~ 月 特 性 的 
开发 上 次 夺 代 /已 有 特性 的 自动 化 脚本 回归 测试 自动 化 





图 7-21 敏捷 测试 中 探索 式 测试 和 自动 化 测试 有 机 结合 策略 的 示意 图 





7.9.3 ”探索 未 知 的 ， 自 动 化 已 知 的 


这 几 年 笔者 一 直 倡 导 要 重新 认识 软件 测试 。 对 于 软件 测试 ， 笔 者 给 
出 了 一 个 新 的 公式 。 





测试 = 检测 + 试验 





对 于 软件 产品 ， 可 以 检测 的 部 分 是 产品 中 具有 确定 性 的 功能 特性 ， 
也 就 是 已 知 的 部 分 。 这 部 分 功能 的 测试 目标 、 测 试 需求 和 测试 的 验证 准 
则 等 都 是 明确 的 ， 具 有 民 好 的 可 测试 性 。 








而 对 产品 中 具有 不 确定 性 的 功能 特性 ， 也 就 是 未 知 的 部 分 ， 只 能 通 
过 试验 来 验证 。 不 确定 性 主要 是 这 几 个 原因 造成 的 : 功能 需求 定义 不 清 
楚 ， 处 于 经 癌变 更 的 状态 ;测试 范围 和 数据 是 无 限 的 ， 很 难 直 接 进 行 验 
证 。 软 件 系统 中 未 知 的 、 不 确定 性 的 部 分 越 来 越 多 ， 因 为 我 们 已 经 处 于 
移动 互联 、 大 数据 和 人 工 智 能 时 代 ， 软 件 系统 输入 和 输出 的 复杂 性 、 多 
样 性 ， 以 及 快速 变化 等 特性 ， 都 使 产品 增加 了 不 确定 性 。 











将 上 述 公式 再 展开 ， 融 成 为 下 面 的 公式 。 
测试 = 检测 已 知 的 + 试验 未 知 的 


在 测试 过 程 中 判断 测试 结果 是 个 通 过 ， 测 试 预言 的 作用 举足轻重 。 
对 于 已 知 的 、 具 有 确定 性 的 功能 特性 ， 一 般 会 运用 相对 明确 的 测试 预 
言 ， 如 清晰 的 Spec、 竞 品 参 照 、 一 致 性 测试 预言 〈consistency 
oracle) 。 对 于 已 知 的 部 分 ， 适 合 采 用 测试 自动 化 的 方式 进行 测试 ， 
为 输入 和 输出 都 是 明确 的 ， 测 试 预言 也 是 明确 的 。 


针对 未 知 的 、 具 有 不 确定 性 的 功能 特性 ， 无 论 是 输入 还 是 输出 ， 都 
需要 不 断 答 试 。 测 试 预言 也 是 局 发 式 的 ， 需 要 毕 合 判断 。 未 知 的 试验 分 
为 以 下 两 部 分 。 


。 通过 工具 试验 ， 产 生 随机 、 半 随机 变异 /模糊 ) 的 数据 ， 进 行 变 


异 测 试 /模糊 测试 等 。 这 里 可 以 用 统计 准则 或 造成 系统 异 角 《如 系 
统 朋 沉 ) ， 让 训 试 结果 更 容易 判断 ， 用 于 安全 测试 、 稳 定性 测试 


Pay 
等 。 





通过 测试 人 员 的 试验 ， 不 断 地 质疑 系统 ， 根 据 系 统 的 反馈 来 做 出 判 
断 ， 也 就 是 探索 式 测 试 的 方式 。 





随 着 大 数据 和 和 人 人工 智能 的 及 展 ， 对 未 知 进行 测试 时 过 到 的 困难 ， 也 
可 以 通过 人 工 智能 来 解决 。 结 合 工具 的 随机 / 半 随 机 测试 和 人 的 探索 ， 
未 知 的 试验 进一步 提升 为 人 工 智能， 不 断 学 习 、 不 断 进行 数据 (输入 、 
输出 和 ]og 等 ) 挖 气 ， 以 及 不 断 构造 (完善 ) 验证 的 规则 (准则 〉， 完 
成 目 动 的 测试 ， 从 未 知 逐 步 走 到 已 知 。 








因此 ， 可 以 将 笔者 给 出 的 关于 测试 的 新 的 公式 “测试 = 检测 十 试验 
”再 进一步 明确 为 下 面 的 公式 。 





测试 三 基于 模型 的 、 脚 本 的 自动 化 测试 十 基于 人 工 或 人 工 智 能 的 探索 
式 测试 


从 测试 一 开始 ， 即 测试 需求 分 析 开 始 ， 束 将 测试 的 范围 (测试 项 ) 
分 为 两 部 分 : 已 知 的 (包括 确定 性 的 和 稳定 的 ) 和 未 知 的 “包括 不 确定 
的 和 动态 的 ) 。 对 于 已 知 的 测试 项 ， 理 论 上 都 可 以 实现 上 自动化， 对 于 未 
知 的 部 分 ， 也 可 以 用 工具 进行 测试 《模糊 测试 、 随 机 测试 等 ) ， 而 更 多 
古 依赖 人 的 探索 式 测试 。 

在 测试 执行 中 ， 探 索 式 测试 和 自动 化 测试 有 机 结合 的 测试 就 是 一 个 


口 口 


具体 的 应 用 。 和 迭代 中 的 测试 范围 可 以 分 为 两 部 分 : 相对 稳定 的 、 有 明确 
的 测评 项 的 已 实现 功能 ， 以 及 不 确定 的 、 容 易 变 更 的 新 功能 。 当 新 功能 
处 于 容易 变更 的 状态 时 ， 束 采用 探索 式 测 试 的 方式 ; 而 对 于 上 次 迁 代 中 
己 经 实现 的 功能 ， 进 行 自 动 化 回归 测试 的 脚本 开发 /调试 。 








7.9.4 ”自动 化 回归 测试 怎么 做 


对 于 一 个 长 期 的 软件 产品 来 说 ， 随 着 功能 不 断 增 加 ， 回 归 测 试 所 占 
的 比重 越 来 越 大 ， 即 使 回归 测试 实现 了 高 度 目 动 化 ， 一 个 完整 的 回归 测 
试 也 常常 需要 十 几 小 时 甚至 几 天 的 时 间 才 能 执行 完毕 。 在 敏捷 测试 里 ， 
回归 测试 是 持续 测试 的 一 部 分 ， 每 次 回归 测试 都 重新 运行 所 有 的 测试 用 
例 是 不 切实 际 的 。 因 此 ， 我 们 也 需要 考虑 有 效 的 回归 测试 全 略 。 


第 6 章 介 绍 了 精准 测试 ， 通 过 代码 依赖 性 分 析 和 代码 差异 分 析 优 化 
回归 测试 范围 ， 即 根据 每 个 版 本 的 代码 变更 选择 回归 测试 的 范围 。 这 对 
于 提高 回归 测试 的 效率 非常 有 帮助 ， 尤 其 是 在 版 本 即将 交付 前 ， 修 复 了 
一 些 缺 陷 ， 但 在 非常 有 限 的 时 间 里 根本 来 不 及 做 完整 的 回归 测试 。 








如 果 没 有 引入 精准 测试 ， 那 么 团队 在 选择 回归 测试 策略 时 需要 兼顾 
效率 和 风险 这 两 个 方面 ， 根 据 项 目的 进度 和 状态 进行 动态 调整 。 我 们 平 
时 就 要 多 测试 、 持 续 测 试 ， 充 分 利用 自动 化 测试 的 优势 ， 如 把 测试 分 配 
到 不 同 的 测试 机 上 并 行 执行 ， 把 大 量 的 回归 测试 安排 到 工作 日 的 夜间 或 
休 忌 日 运行 。 利 用 目 动 化 测试 平台 和 持续 集成 /持续 交付 环境 的 集成 ， 
创建 定时 的 测试 任务 ， 自 动 局 动 测试 工具 和 运行 测试 脚本 。 在 工作 日 的 








夜间 执行 测试 任务 ， 第 二 天 上 班 的 时 候 就 能 获得 测试 结果 ; 在 休息 日 安 
排 执 行 测试 任务 ， 周 一 上 班 时 就 能 获得 测试 结果 。 














在 产品 交付 之 前 ， 如 果 有 代码 变更 ， 需 要 基于 风险 与 基于 操作 剖面 
选择 测试 等 策略 相 结合 。 基 于 操作 剖面 选择 测试 ， 即 选择 测试 用 例 是 依 
据 哪 些 功能 是 用 户 最 常用 的 ， 如 80/20 原 则 ， 其 中 209%6 的 常用 功能 ， 用 
户 有 80% 的 时 间 在 用 它们 ， 这 部 分 的 测试 用 例 大 部 分 会 在 BVT 的 测试 范 
围 内 ， 作 为 持续 集成 测试 的 一 部 分 。 


H 
了 
9 





7.10 ”优先 实现 面向 接口 的 测试 


从 原理 上 来 说 ， 接 口 测试 是 模拟 客户 端 向 服务 器 端 发 送 请 求 ， 然 后 
检查 能 否 获得 正确 的 返回 信息 。 这 里 所 说 的 面向 接口 的 自动 化 测试 和 
API 测 试 是 一 回 事 。 在 介绍 测试 金字塔? 模型 的 时 候 已 经 说 过 ， 相 对 上 
层 UI 测 试 ， 自 动 化 测试 更 适合 进行 API 测 试 。 这 里 的 API 测 试 是 指 面向 
接口 的 系统 功能 测试 。 接 口 测试 越 来 越 重要 ， 不 但 因为 接口 测试 与 UI 测 
试 相 比 性 价 比 更 高 ， 而 且 因 为 目前 软件 系统 的 开发 模式 和 架构 风格 带 来 
的 必然 需求 。 











7.10.1 接口 (API) 测试 越 来 越 重要 


目前 ， 前 后 站 分 离 是 业界 主流 的 软件 系统 开 友 模式 。 前 端 设备 种 类 
越 来 越 多 ， 不 同 的 前 端 与 后 端 都 是 通过 事先 定义 好 的 API 进 行 交 互 的 ， 
前 后 端 分 离 当然 也 应 该 在 开发 过 程 中 分 别 调试 。 前 端 测 试 可 以 搭建 一 个 


MockServer 模 拟 后 端 给 出 的 啊 应 ， 后 端 ， 即 服务 器 端 ， 就 可 以 通过 调用 
API 直 接 对 其 进行 接口 测试 。 另 外 ， 后 端 系统 的 性 能 测试 基本 上 要 依赖 
接口 进行 测试 ， 需 要 关注 在 各 种 并 发 情况 下 服务 器 端的 啊 应 时 间 、 资 源 
使 用 情况 等 。 另 外 ， 需 要 通过 接口 测试 对 后 端 系统 进行 安全 测试 ， 如 验 


过 
证 前 后 端 传输 信息 是 否 加 密 等 。 


微服 务 架 构 是 目前 主流 的 软件 系统 架构 的 设计 风格 。 一 个 软件 系统 
的 微服 务 之 间 通 过 HTTP、RPC 等 协议 进行 通信 ， 通 常 是 基于 HTTP 的 
RESTful API， 如 主流 的 Spring Boot 开 发 框架 等 。 这 种 架构 带 来 的 好 处 
是 每 个 微服 务 可 以 独立 开发 、 独 立 部 署 ， 自 然 需要 单独 验证 每 个 微服 务 
的 功能 ， 而 验证 的 方式 就 是 API 测 试 。 


不 仅 软件 系统 目 身 正 趋同 于 API 化 ， 软 件 产品 也 通过 对 外 开放 的 
API 提 供与 外 部 系统 的 集成 能 力 。 现 在 人 们 更 倾向 于 把 API 作 为 产品 和 
服务 ，API 的 消费 者 既 包括 外 部 合作 伙伴 ， 又 包括 企业 内 部 的 系统 维护 
人 员 或 开发 人 员 。 做 好 这 类 API 的 测试 也 是 软件 测试 的 目标 之 一 。 


7.10.2 ”接口 测试 示例 


根据 接口 所 遵循 的 协议 ， 第 见 的 接口 包括 HITP 接 口 、Web Service 
接口 和 RPC 接 口 等 。HTTP 接 口 文 持 HITTP 应 用 传输 协议 ，Web Service 接 
口 一 般 采 用 SOAP; 而 RESTful 既 可 以 用 于 HITP 接 口 ， 又 可 以 用 于 Web 
Service 接 口 。 


可 以 文 持 接口 测试 的 开源 工具 有 很 多 。 第 用 的 Postman、JMeter、 





REST Assured 等 ， 就 不 拿 来 作为 例子 了 。 这 里 结合 在 第 4 章 已 经 介绍 过 
的 测试 工具 Karate 来 讲解 RESTful API 的 接口 测试 。 








Karate 是 基于 Cucumber-JVM 构 建 的 开源 测试 工具 ， 目 前 是 最 好 用 的 
API 测 试 工具 之 一 。 与 Cucumber 一 样 ， 它 也 使 用 Gherkin 语 言 以 Given- 
When-Then 格 式 来 描述 测试 场景 ， 因 此 也 是 BDD 风 格 的 工具 。 





另外 ，Karate 还 具有 以 下 特点 : 


支持 多 线程 并 发 测试 ; 


。 不 但 支持 包括 RESTful API 和 SOAP 不 同 风 格 的 Web Service 接 口 测 
试 ， 而 且 支 持 UI 测 试 和 性 能 测试 ; 


。 可 以 像 标 准 Java 项 目 一 样 运行 测试 并 生成 界面 友好 的 HTML 报 告 ; 


。 可 以 在 配置 文件 里 添加 全 局 的 配置 信息 ， 作 用 于 每 个 测试 用 例 ， 如 
可 以 设置 全 局 变量 、 连 接 超时 时 间 和 重 试 机 制 等 。 


不 过 ， 相 比 其 他 测试 工具 ，Karate 最 显著 的 特点 是 不 需要 额外 编写 
Java、Python 等 语言 的 测试 代码 ， 因 此 非常 容易 上 手 和 使 用 。Karate 的 
安装 配置 非常 简单 ， 具 体 可 以 参考 GitHub 上 其 官方 页 面 中 的 介绍 ， 该 页 
面 中 还 给 出 了 大 量 的 代码 示例 。 


现在 我 们 利用 Karate 来 开发 一 个 接口 测试 的 测试 用 例 。 假 定 需 要 对 
一 个 可 以 增加 、 删 除 、 修 改 、 查 询 用 户 信 息 的 RESTful API 进 行 测试 。 





第 1 个 场景 是 请 求 所 有 用 户 信息 ， 它 返回 的 Response 信 息 为 JSON 格 


式 的 用 户 列表 ， 如 下 所 示 。 


"success": true, 
"msg": "查询 列表 成 功 "， 
"data": [ 

{ 


"id": 1233， 
"name": "David", 
"age": 30 


"id": 1234， 
"name": "Susan", 
"age": 28 





第 2 个 场景 是 添加 3 个 新 的 用 户 。 第 3 个 场景 是 更 新 用 户 ID 为 1234 的 
用 户 信 息 。 第 4 个 场景 是 删除 用 户 ID 为 1233 的 用 户 。 利 用 Karate 开 发 的 
测试 用 例 的 代码 (.feature 文 件 ) 如 下 所 示 。 





Feature: Test User API 


Background: 
* Url 'http://api.example.com' 


Scenario: Get all users 
Given path '/api/users/' 
When method GET 
Then status 206 
And match response.msg == "查询 列表 成 功 " 
And match response.data[1].name == "Susan" 


Scenario Outline: Add multiple users 
Given path '/api/users/’" 
And request {id:<id>, name: '<name>', age:<age>} 
When method POST 
Then status 266 
And match response.msge == "新 增 成 功 " 




















Examples: 


| id | name | age | 
| 1235 | Nancy | 23 | 
| 1236 | Susan | 26 | 
| 1237 | Sherry | 28 | 


Scenario: Update an user 
Given path '/api/users/1234' 
And request {id:1234, name:'Lily', age:56} 
When method PUT 
Then status 266 
And match response.msg == "更 新 成 功 " 





Scenario: Delete an User 
Given path '/api/users/1233" 
When method DELETE 
Then status 206 
And match response.msg == "删除 成 功 " 





上 面 是 一 个 单 接口 测试 的 例子 ， 它 并 不 足以 展示 Karate 文 持 复杂 场 
景 的 强大 功能 。 在 实际 的 测试 中 ， 一 个 业务 场景 往往 是 由 多 个 接口 的 串 
行 调用 完成 的 。 而 且 ， II 
用 ， 而 后 一 个 API 需 要 使 用 前 一 个 API 返 回 结果 中 的 某 些 信息 才能 
测试 。 如 图 7-22 所 示 是 Karate 官 方 页 面 中 的 一 段 测试 代码 ， 在 这 
中 ， 第 二 个 API 的 调用 地 址 就 是 第 一 个 API 返 回 结果 中 的 ID 信息 

















如 果 只 是 单 接口 的 测试 ， 那 么 使 用 Postman 工 具 进 行 调试 会 更 方 
便 。 在 实际 的 工作 中 ， 建 议 读 者 把 Postman 和 Karate 结 合 起 来 使 用 : 先 用 
Postman 进 行 单个 接口 的 测试 ， 验 证 返回 的 啊 应 信息 是 否 正 确 ; 等 到 单 
个 接口 调试 好 了 ， 再 用 Karate 编 写 测试 脚本 把 多 个 API 串 联 起 来 完成 面 
同业 务 的 接口 测试 。 


Scenario: create and retrieve a cat 


Given url 'http://myhost.com/vl/cats’ 
And request { name: 'Billie' } 

When method post 

Then status 201 


And match response == { id: '#notnull', name: 'Billie' } 
Given path response.id 


When method get 


Then status 200 


图 7-22 ”Karate 接 口 调用 链 的 测试 








7.10.3 ”如 何 获取 接口 信息 








获得 完整 的 接口 信息 是 开展 接口 测试 的 基础 ， 人 否则 测试 人 员 不 清楚 
系统 定义 了 哪些 API 需 要 测试 、 每 个 API 的 请 求 信息 怎么 写 、 啊 应 结果 





根据 什么 来 验证 。 而 接口 文档 是 获取 接口 信息 的 重要 途径 。 如 果 没 有 接 
口 文档 ， 那 么 测试 人 员 只 能 通过 抓 包工 具 (如 Fidder、Wireshark 等 ) 访 
问 前 端 界 面 获 取 接 口 信息 ， 不 但 费时 、 费 力 ， 而 且 测 试 人 员 相 当 被 动 ， 
对 于 接口 的 变动 总 是 后 知 后 觉 。 





接口 文档 的 主要 内 容 应 该 包括 : 调用 地 址 (URL〉、 调 用 方式 (如 
GET、PUT 等 ) 、 请 求 信 息 的 格式 ， 以 及 啊 应 信息 的 格式 及 示例 等 。 在 
前 后 端 分 离 的 系统 中 ， 前 问 与 后 端的 交互 只 能 通过 接口 来 实现 。 民 好 的 
接口 文档 是 加 强 前 后 端 开发 协作 的 基础 ， 人 否则 很 容易 发 生 接 口 不 匹配 的 
情况 ， 从 而 影响 前 后 端的 集成 。 而 对 于 微服 务 架 构 的 软件 系统 ， 微 服务 
之 间 的 调用 关系 往往 非常 复杂 ， 需 要 定义 的 API 也 非 第 多 ,不同 的 微服 





务 可 能 由 不 同 的 团队 负责 开发 ， 接 口 信息 的 管理 和 维护 更 是 一 个 挑战 。 





如 果 是 开发 人 员 手 工 编写 接口 文档 ， 那 么 维护 工作 量 比较 大 ， 很 难 
做 到 实时 更 新 。 下 面 介 绍 两 种 比较 好 的 接口 文档 管理 方式 。 





第 一 种 是 利用 Swagger 工 具 动 态 生 成 接口 文档 。Swagger 是 一 套 工具 
包 ， 提 供 API 文 档 编辑 、 和 生成、 呈现 及 共享 等 功能 ， 还 可 以 执行 API 自 
动 化 测试 。 其 中 ，Swagger UI 通 过 在 产品 代码 中 添加 Swagger 相 关 的 注 
释 ， 生 成 JSON 或 YAML 格 式 的 API 文 件 ， 然 后 通过 Web 界 面 呈现 ， 供 文 
档 的 用 户 访问 和 得 询 。 


Swagger UI 对 Spring Boot 的 项 目 提供 了 很 好 的 文 持 。 由 Swagger 生 成 
的 接口 文档 如 图 7-23 所 示 。 笔 者 在 Gitee 网 站 -开源 项 目 -程序 开发 -Spring 
Boot 扩 展 中 找到 了 一 个 使 用 Swagger 生 成 在 线 文档 的 开源 项 
目 “springboot-swagger 2”， 建 议 使 用 Intellij IDEA 打 开 ， 在 POM.xml 中 需 
要 添加 一 个 依赖 ， 如 下 上 所 示 。 


<dependency> 
<groupId>javax.xml.bind</groupId> 


<artifactId>jaxb-api</artifactId> 
<version>2.3.6</versiony> 
</dependency> 





编译 成 功 后 启动 com.xncoding.jwt 目 录 下 的 Application， 然 后 访问 ， 
就 得 到 了 如 图 7-23 所 示 的 动态 接口 文档 。 

















图 7-23” ”Swagger 生成 的 动态 接口 文档 示例 


第 二 种 方式 是 契约 形式 的 接口 文档 。 站 约 规定 的 是 接口 的 调用 者 和 
被 调用 者 之 间 约 定 的 Request 和 Response 数 据 交 互 格式 。 这 里 不 得 不 提 一 
下 淖 约 测试 方法 ， 又 称 消费 者 驱动 问 约 测 试 (consumer-driven 
contract，CDC) 。 在 契约 测试 里 ， 接 口 的 调用 者 被 称 为 “消费 者 ”， 被 调 
用 者 被 称 为 “服务 的 提供 者 ”。 其 核心 思想 在 于 从 消费 者 业务 实现 的 角度 
出 发 ， 由 消费 者 自己 定义 需要 的 数据 格式 及 交互 细 市 ， 并 驱动 生成 一 份 
消费 者 契约 。 然 后 ， 开 发 者 根据 契约 分 别 实现 自己 的 业务 多 辑 ， 并 在 服 
务 提 供 者 端 进行 测试 ， 验 证 所 调 用 的 接口 是 否 按照 契约 规定 的 内 容 返回 
正确 的 信息 。 主 流 的 契约 测试 工具 包括 Pact 和 Spring Cloud Contract。 通 
过 契约 测试 ， 可 以 生成 需要 的 契约 文档 ， 该 文档 存放 在 代码 仓库 里 。 





前 端 根据 这 份 契 约 ， 可 以 搭建 一 个 MockServer 模 拟 后 端 服务 器 的 啊 
应 ， 在 对 前 端的 测试 中 ， 所 有 需要 与 后 端 交 互 的 场景 下 的 请 求 都 发 往 这 
个 MockServer， 以 此 达到 前 后 端 调 试 的 解 耦 。 





7.10.4 ”契约 测试 和 微服 务 的 接口 测试 


对 于 微服 务 来 说 ， 应 用 淖 约 测试 的 方法 进行 接口 测试 比较 高 效 ， 只 
要 验证 补 调 用 的 接口 组 合 (已 实现 的 业务 逻辑 ) ， 没 有 被 调用 的 接口 
《用 不 到 的 逻辑 ) 无 须 测 试 。 男 外 ， 开 展 微服 务 的 接口 测试 也 需要 根据 
契约 搭建 MockServer 来 实现 微服 务 之 间 的 解 簿 。 一 个 大 型 软件 系统 由 多 
个 微服 务 组 成 ， 通 常 完成 一 个 业务 操作 需要 调用 多 个 微服 务 才 能 完成 。 
微服 务 之 间 的 相互 调用 和 依赖 关系 比较 复杂 ， 如 图 7-24 所 示 。 





API 测 试 一 ”微服 务 D 





“” 微服 务 C 
图 7-24 ”微服 务 之 间 的 相互 调用 和 依赖 关系 示意 图 


当 我 们 对 微服 务 A 进 行 接口 测试 时 ， 微 服务 A 会 调用 微服 务 B 和 微服 
务 C， 微 服务 C 又 会 调用 微服 务 D， 因 为 微服 务 都 是 独立 开发 的 。 当 微服 
务 B、 微 服务 C 或 者 微服 务 D 中 的 任何 一 个 处 于 不 可 用 状态 时 ， 针 对 微服 
务 A 的 接口 测试 就 无 法 进行 。 要 想 在 测试 中 解除 微服 务 A 对 其 他 微服 务 
的 依赖 ， 就 要 用 到 mock 技 术 ， 这 里 是 指 启动 Mock Service 代 蔡 微 服务 B 
和 微服 务 C 来 响应 微服 务 A 发 出 的 请 求 ， 而 这 时 也 无 须 再 关心 微服 务 C 对 
微服 务 DD 的 调用 ， 如 图 7-25 所 示 。 





微服 务 B 





”API 测试 -必要 


Service C 微服 务 C 


图 7-25 ”利用 mock 技 术 解 除 微服 务 之 间 的 依赖 


接口 级 别 的 mock 工 具 包 括 WireMock、MockServer 和 RAP， 以 及 第 4 
章 介 绍 过 的 服务 虚拟 化 工具 Hoverfly 等 ， 它 们 都 提供 了 在 API 层 面 mock 
微服 务 的 功能 。 在 MockServer 搭 建 过 程 中 ， 一 个 重要 方面 就 是 定义 需要 
模拟 的 请 求 和 响应 ， 上 面 所 说 的 契约 文档 在 这 里 就 发 挥 了 作用 。 我 们 可 
以 根据 微服 务 A 和 微服 务 B， 以 及 微服 务 A 和 微服 务 C 之 间 的 契约 文件 很 
容易 地 创建 JSON 格 式 的 请 求 和 啊 应 信息 文件 ， 示 例如 下 。 











"request": { 

"method": "GET", 

"urlPpathpattern": "/api/users/" 
}， 
"response": { 

"status": 200， 

"body": { 

"success": true, 


"msg": "查询 列表 成 功 "， 


"data": [ 

{ 
"id": 1233， 
"name": "David", 
"age": 30 

}, 

{ 
"id": 1234， 
"name": "Susan", 


"age": 28 





当 MockServer 启 动 后 ， 不 必 启 动 真实 的 应 用 ，MockServer 束 可 以 代 
蔡 真 实 应 用 给 出 啊 应 。 


7.10.5 ”API 持续 测试 平台 : API Fortress 


虽然 敏捷 开发 高 度 依赖 自动 化 测试 ， 但 目前 自动 化 测试 还 有 很 多 痛 
点 需要 解决 ， 如 脚本 的 开发 与 维护 的 时 间 和 成 本 较 高 ， 以 及 如 果 在 开发 
早期 对 单个 API 进 行 测试 ， 就 要 集成 mock 工 具 模拟 不 稳定 的 服务 。 另 外 
很 重要 的 一 点 是 ， 自 动 化 测试 需要 多 种 工具 集成 在 持续 集成 /持续 交付 
环境 中 实现 持续 测试 。 按 照 自动 化 测试 “金字 塔 * 模 型 ， 自 动 化 测试 类 型 
包括 单元 测试 、API 测 试 和 UI 测试 。 对 于 单元 测试 ， 持 续集 成 环境 中 需 
要 集成 单元 测试 工具 、 代 码 履 盖 率 统计 工具 ， 以 及 可 视 化 的 代码 质量 呈 
现 工 具 等 一 系列 工具 ; 另外 ， 它 还 需要 mock 工 具 模拟 对 数据 库 、 文 件 
系统 等 有 依赖 的 依赖 对 象 。 对 于 API 测 试 ， 同 样 如 此 。 为 了 完成 API 测 
试 ， 我 们 常常 需要 使 用 Postman 进 行 接口 调试 ， 使 用 WireMock 等 mock 工 
具 来 模拟 接口 响应 数据 ， 使 用 像 Karate、JMeter 这 类 测试 工具 进行 接口 
自动 化 测试 。 这 样 我 们 就 需要 维护 不 同 的 工具 ， 而 且 在 工具 之 间 维 护 数 
据 一 致 性 的 工作 量 也 比较 大 。 











API Fortress 是 一 个 API 持 续 测 试 平 台 。 对 于 微服 务 架 构 的 软件 系 
统 ，API Fortress 提 供 了 接口 测试 的 持续 测试 解决 方案 。 我 们 来 看 一 下 它 


提供 了 哪些 功能 ， 以 及 它 如 何 解决 了 当前 上 自动 化 测试 中 的 上 述 痛 点 。 


。 无 代码 化 的 自动 化 测试 ， 从 Web UI 单 击 操作 、 规 范文 档 或 录制 的 流 
量 中 自动 创建 API 功 能 测试 的 测试 脚本 。 


可 以 支持 API 的 各 种 测试 类 型 (包括 单个 API 的 功能 测试 、 压 力 测 
试 和 性 能 测试 》， 以 及 API 性 能 监控 。 


在 研发 早期 ， 通 过 自 带 的 mock 功 能 隔离 不 稳定 的 API 依 赖 对 象 对 
API 进 行 测 试 。 


文 持 与 多 种 持续 集成 /持续 交付 工具 ， 以 及 测试 管理 工具 的 集成 ， 
如 Jenkins、GitLab、Axway (API 管 理工 具 ) 、Zephyr (测试 用例 
管理 工具 ) 和 Jira 等 。 


本 章 小 结 


DoD 对 敏捷 验收 测试 提供 了 对 用 户 故 事 、 友 代 和 要 发 布 的 软件 版 本 
的 验收 标准 ， 而 各 项 敏捷 测试 活动 的 结果 是 DoD 任 务 清单 极为 重要 的 组 


成 部 分 。 


在 本 章 中 ， 我 们 介绍 了 基于 用 户 故 事 设计 测试 用 例 的 流程 ， 展 示 从 
产品 需求 到 功能 特性 ， 再 到 用 户 故 事 、 场 景 ， 最 后 转化 为 测试 用 例 的 分 
解 过 程 ， 而 这 个 过 程 的 顺畅 程度 是 通过 在 需求 阶段 实施 ATDD/BDD 来 保 
证 的 。 另外， 我 们 还 介绍 了 基于 事件 流 图 、 状 态 图 设计 系统 端 到 端的 测 
试用 例 的 方法 。 除 这 些 具 体 的 方法 以 外 ， 测 试用 例 的 设计 更 依赖 于 测试 








人 员 对 于 用 户 角色 的 把 握 和 业务 场景 的 挖掘 ， 这 在 手工 测试 以 探索 式 测 
试 为 主 的 敏捷 测试 中 尤其 重要 。 


目前 ， 大 家 对 于 敏捷 测试 的 认识 误区 普 过 是 敏捷 测试 就 相当 于 自动 
化 测试 。 有 效 的 目 动 化 测试 当然 越 多 越 好 ,但 从 之 前 的 分 析 中 我 们 也 可 
以 看 到 ， 现 在 完全 采用 测试 自动 化 并 不 具备 条 件 ， 因 此 ， 新 功能 采用 探 
索 式 测试 结合 目 动 化 回归 测试 是 敏捷 迭代 开发 中 的 一 条 重要 的 指导 方 
Fs 


在 上 自动 化 测试 中 ， 做 好 单元 测试 是 关键 ， 其 次 是 接口 测试 ， 而 UI 测 
试 作 为 补充 可 以 少 做 。 目 前 ， 测 试 目 动 化 技术 也 面临 着 更 新 换代 ， 物 联 
网 的 测试 自动 化 是 新 的 需求 ;， 男 外 ， 测 试 工具 的 智能 化 、 云 化 、 无 代码 
化 和 模型 化 是 必然 趋势 。 这 些 必 将 禹 来 软件 测试 面向 局 度 上 自动化 的 快速 
发 展 。 





延伸 阅读 


JetBrains 在 2020 年 年 中 发 布 了 《2020 年 开发 者 生态 报告 》。 通 过 该 
报告 ， 我 们 可 以 清楚 地 看 到 目前 编程 语言 方面 的 一 些 趋势 ， 可 能 对 读者 
选择 测试 开发 语言 以 及 工具 /框架 会 有 一 定 的 帮助 。 在 开发 者 首选 编程 
语言 中 ， 排 名 前 3 的 是 JavaScript、Java、Python。 就 受 欢迎 程度 而 言 ， 
Java 高 居 第 一 位 ， 但 在 使 用 人 数 上 ，JavaScript 则 位 列 第 一 。 在 该 报告 发 
布 的 过 去 12 个 月 中 ，Python 的 使 用 量 已 经 超过 了 Java。Go、Kotlin 和 
Python 是 现今 非常 受 欢迎 的 迁移 对 象 ， 这 可 能 预示 着 接 下 来 几 年 内 开发 
趋势 的 转变 。 尤 其 是 Python， 在 人 工 智 能 领域 做 出 了 巨大 贡献 ， 让 人 们 








相信 在 未 来 它 会 越 来 越 受 欢迎 。 


和 大 
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第 8 章 ”测试 右 移 ， 从 | 8.3.4 监控 系统 解决 方案 


8.3 监控 告警 系统 
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8.4 安全 性 监控 


8.5.1 混沌 工程 的 由 来 
8.5.2 基于 故障 注入 的 测试 
8.5 混沌 工程 8.5.3 混沌 工程 平台 与 工具 
8.5.4 混沌 工程 的 具体 实施 
8.5.5 为 系统 弹性 做 好 设计 











8.6.1 从 自动 化 运 维 到 智能 运 维 
8.6.2 智能 运 维 的 典型 场景 


8.6 智能 运 维 与 测试 





测试 右 移 指 的 是 软件 发 布 之 后 的 在 线 测试 一 一 在 产品 运行 环境 中 进 
行 测试 (testing in production，TiP) ， 马 丁 . 福 勒 在 其 博客 上 有 一 篇 文章 
专门 介绍 了 TiP。 如 果 软 件 产品 作为 服务 〈SaaS) 部 署 在 研发 公司 自己 
的 数据 中 心 或 者 公有 云 上 ， 在 上 线 部 署 后， 依然 可 以 监控 并 分 析 系 统 的 





行为 ， 有 问题 可 以 快速 修复 ， 并 且 像 AB〈 易 用 性 ) 测试 、 性 能 测试 和 
基于 故障 注入 的 测试 等 可 以 在 线 进行 。 


这 也 是 把 软件 测试 从 研发 阶段 延伸 到 运 维 阶段 ， 从 研发 阶段 的 持续 
测试 延伸 到 部 署 上 线 后 的 在 线 监 控 和 在 线 测试 。 新 的 软件 版 本 上 的 问题 
通过 监控 和 测试 被 及 时 反馈 给 研发 团队 ， 研 发 团队 快速 定位 并 修复 缺 
陷 ， 这 已 经 成 为 持续 同 客 户 交 付 价值 的 必 不 可 少 的 环 市 。 


8.1 在 线性 能 测试 


在 敏捷 开 及 和 DevOps 的 实践 中 ， 软 件 达 代 的 速度 很 快 ， 线 上 代码 
变更 频繁 ， 在 研发 环境 中 ， 人 往往 没有 充分 的 时 间 进 行 性 能 测试 ， 互 联网 
项 目 尤 其 如 此 。 新 的 功能 和 代码 经 常会 影响 系统 性 能 ， 如 上 一 个 软件 版 
本 能 够 支持 的 并 发 请 求 数 是 10000， 新 的 软件 版 本 就 只 能 支持 7000 个 并 
发 请 求 。 男 外 ， 软 件 系 统 经 过 了 研发 过 程 中 的 性 能 测试 ， 在 研发 环境 中 
满足 了 性 能 需求 ， 但 庞大 的 用 户 群 体 、 路 国家 /地 区 的 用 户 访问 ， 以 及 
数 以 万 计 的 移动 器 设备 种 类 和 型 号 等 生产 环境 中 的 真实 场景 ， 在 研发 环 
境 中 不 可 能 全 面 禾 盖 。 因 此 ， 在 生产 环境 中 ， 和 下 接 进 行 性 能 测试 束 变 得 
非常 必要 。 


8.1.1 全 链 路 压 测 


全 链 路 压 测 是 指 模拟 真实 业务 场景 中 的 海量 用 户 请 求 和 数据 访问 生 
产 坏 境 ， 对 整个 业务 链 路 进行 全 方位 的 、 真 实 的 压力 测试 ， 提 前 找到 性 


能 瓶颈 点 并 持续 调 优 的 实践 。 全 链 路 压 测 的 概念 最 早 是 由 阿里 巴巴 提出 
的 。 随 着 互联 网 的 发 展 和 交易 量 的 增加 ， 互 联网 性 能 测试 的 技术 和 经 验 
也 一 直 在 实践 中 逐步 改进 和 完善 。2010 一 2012 年 ， 每 到 “ 双 11? 期 间 ， 流 
量 就 会 突 增 ， 某 些 电 商 平台 就 会 出 现 一 些 性 能 和 稳定 性 方面 的 问题 。 实 
践 证 明 ， 由 于 环境 和 数据 的 差异 ， 在 生产 环境 高 负载 的 情况 下 ， 会 发 生 
很 多 在 测试 环境 中 从 未 出 现 的 问题 ， 因 此 必须 借助 真实 的 环境 ， 模 拟 真 
实 流量 进行 压 测 ， 以 验证 业务 系统 在 生产 环境 中 的 性 能 。 就 像 前 面 提 到 
的 ， 由 于 交付 压力 和 时 间 限 制 ， 测 斌 环境 中 的 性 能 测试 做 得 并 不 充分 ， 
本 来 可 以 在 研发 阶段 就 帮 现 并 解决 的 问题 被 市 到 了 生产 系统 中 ， 这 也 是 
线 上 压 测 不 得 不 进行 的 原因 之 一 。 




















在 全 链 路 压 测 出 现 之 前 ， 线 上 压 汕 是 以 单机 、 单 系统 的 方式 进行 
的 ， 就 是 在 生产 环境 中 的 单 合 服务 器 或 单个 业务 系统 中 进行 压 测 ， 将 多 
台 机 器 的 请 求 转发 到 一 台 服 务 絮 或 单个 系统 上 以 达到 压力 测试 的 目的 。 
但 是 这 种 方式 在 分 布 式 系统 中 的 局 限 性 也 很 明显 : 在 高 负载 的 情况 下 ， 
各 系统 的 相互 调用 会 成 为 性 能 瓶颈 ;并且 由 于 系统 之 间 的 相互 依赖 关 
系 ， 凯 并 发 时 系统 的 不 确定 性 带 来 的 误 状 会 增强 。 由 于 这 些 场景 无 法 在 
单 系统 的 压 测 中 用 盖 ， 因 此 不 能 有 效 地 验证 整个 链 路 或 染 构 级 别 的 系统 
性 能 和 容量 。 











阿里 巴巴 在 2013 年 开始 全 面 实施 全 链 路 压 测 ， 在 “ 双 11” 到 来 前 就 通 
过 模拟 比 “ 双 11” 更 高 的 负载 友 现 并 解决 暴露 出 来 的 问题 ， 为 其 后 的 大 型 
促销 活动 提供 了 系统 可 徘 性 方面 的 技术 保障 。 根 据 统 计 ， 在 2019 年 阿里 
巴巴 义 一 次 平稳 地 经 受 了 “ 双 11” 的 考验 ， 当 天 天 猫 商 城 的 流量 峰值 达到 











54.4 万 笔 / 秒 ， 是 2009 年 第 一 次 开展 “ 双 11? 活 动 时 交易 峰值 的 1360 倍 。 


目前 ， 很 多 大 型 电 丙 平 台 已 经 开发 出 目 己 的 全 链 路 压 测 解决 方案 ， 
不 但 在 大 规模 的 促销 活动 前 ， 而 且 已 经 作为 常规 的 在 线 测 试 手段 来 进 
行 。 全 链 路 压 测 是 为 了 解决 业务 系统 在 海量 数据 冲击 下 的 可 用 性 问题 : 
一 方面 验证 系统 的 各 个 节点 是 否 能 经 受 住 冲 击 ， 如 果 有 性 能 问题 ， 就 提 
前 暴露 ， 并 提前 解决 ， 必 一 方面 也 是 为 了 验证 系统 容量 是 售 满 足 高 负载 
的 要 求 ， 在 高 峰 到 来 前 做 好 容量 规划 。 核 心 业务 模块 和 非 核心 业务 模块 
的 负载 肯定 是 不 同 的 ， 通 过 全 链 路 压 测 识别 出 每 个 业务 模块 的 负载 大 
小 ， 然 后 有 针对 性 地 进行 扩容 或 缩 容 调整 。 








全 链 路 压 测 技术 的 核心 要 素 是 : 流量 发 起 、 数 据 构 造 、 流 量 染 
色 、 数 据 隔离 和 在 线性 能 监控 。 其 中 ， 如 何 模拟 业务 系统 的 真实 流量 
是 全 链 路 压 测 的 技术 核心 。 首 先 ， 需 要 在 公 网 环境 中 从 多 个 地 理 位 置 发 
起 流量 ， 通 过 多 个 地 域 的 组 合流 量 向 生产 系统 施加 “压力 ”。 因 为 阿里 巴 
巴 本 喘 的 CDN 《内容 分 发 网 络 ) 节 氮 遍布 全 球 ， 所 以 可 以 借助 这 些 
CDN 节 点 发 起 流量 。 对 于 不 具备 这 种 能 力 的 互联 网 公司 ， 可 以 借助 一 些 
公司 提供 的 全 链 路 压 测 服务 获得 这 方面 的 文 持 。 其 次 ， 从 生产 环境 中 提 
取出 和 高 峰 流 量 时 则 等 数量 级 的 数据 ， 经 过 “清洗 ”和 脱 敏 处 理 ， 作 为 全 
链 路 压 测 的 基础 数据 ， 然 后 结合 历史 数据 ， 通 过 相应 的 预测 算法 ， 得 到 
需要 模拟 的 业务 模型 ， 构 造 出 相应 的 压 测 数据 ， 如 按 比 例 放 大 录制 的 流 
量 。 一 般 通 过 对 线 上 流量 进行 录制 的 方式 提取 基础 数据 ， 如 通过 开源 的 
工具 GoReplay 进 行 流 量 录制 和 回放 。 








全 链 路 压 测 的 所 有 数据 需要 在 生产 环境 中 做 隔离 ， 以 避免 其 对 生产 


环境 的 “污染 ”， 男 外 也 方便 对 压 测 产 生 的 数据 进行 “清理 *。 一 方面 是 将 
压 测 流量 和 正常 流量 进行 隔离 ， 全 和 链 路 压 测 通常 会 选择 流量 低 峰 时 段 进 
行 ， 在 生产 环境 中 隔离 出 一 批 机 器 用 于 压 测 ， 男 一 方面 是 将 正常 业务 产 
生 的 数据 和 压 测 产生 的 数据 进行 隔离 ， 包 括 存储 、 缓 存 、 消 轧 和 日 志 等 
一 系列 数据 。 这 里 的 关键 技术 包括 流量 染色 与 数据 隔离 。 流 量 染色 是 指 
对 指定 的 流量 打上 标识 ， 并 且 在 整个 调用 链 中 始终 携 和 市 该 标识 ， 以 对 特 
定 的 流量 进行 跟踪 和 路 由 。 而 数据 隔离 是 指 当 线 上 系统 问 磁 盘 或 外 设 输 
出 数据 时 ， 知 流量 是 被 标记 的 压 测 流量 ， 则 将 数据 写 到 与 线 上 数据 隔离 
的 存储 系统 中 ， 即 影子 库 或 影子 表 ， 或 者 将 这 些 数据 进行 标识 ， 形 成 影 
子 数 据 。 这 里 会 涉及 对 业务 系统 的 技术 改造 。 























为 了 保证 生产 环境 的 安全 运行 ， 尽 量 降 低压 测 对 业务 的 影响 ， 压 测 
平台 需要 具备 全 链 路 风险 熔断 机 制 ， 即 当 系统 达到 预先 设 定 的 熔断 羡 
值 ， 能 够 自动 降低 流量 或 者 直接 中 断 压 测 ， 从 而 防止 负载 过 大 叶 致 出 现 
系统 风险 。 因 此 ， 压 测 平 台 需 要 集成 监控 模块 或 者 与 全 链 路 监控 系统 配 
合 使 用 。 当 系统 性 能 达到 预先 设 定 的 立 值 时 ， 监 控 系 统 会 及 时 地 发 现 寞 
常 并 发 送 报 警 信 息 给 相关 人 员 ， 在 排查 并 解决 了 性 能 瓶颈 之 后 ， 再 继续 
执行 压 测 。 





一 个 典型 的 全 链 路 压 测 平台 通常 包括 4 个 部 分 : 压 测 管理 、 压 测 调 
度 中 心 、 压 测 引 擎 和 监控 系统 /模块 ， 其 架构 如 图 8-1 所 示 。 





3) 压 测 任务 














图 8-1 全 链 路 压 测 平台 架构 示意 图 


。 压 测 管理 :负责 压 测 数据 构造 (流量 录制 、 清 洗 ) 、 压 测 环 境 准 备 
(环境 隔离 、 数 据 隔 离 )、 场 景 管理 、 压 测 过 程 管理 及 压 测 结果 展 


Pay 
等 。 





| 


全 、 


压 测 调度 中 心 : 负 员 管理 压 测 任务 和 压 测 机 集群 ， 分 配 压 测 机 器 并 
进行 测试 脚本 分 友 、 数 据 分 友 等 工作 。 


压 测 引 擎 : 负责 发 起 压 测 流量 ， 执 行 压 测 任务 。 现 在 业界 普 过 采用 
的 是 基于 开源 工具 JMeter 搭 建 的 压 测 集群 。 


监控 系统 /模块 :负责 收集 各 类 系统 运行 时 产生 的 数据 ， 统 计 分 析 
压 测 结果 ， 监 控 各 项 指标 并 进行 可 视 化 展示 ， 同 时 具备 寞 第 检 测 、 
告警 、 故 障 诊 断 和 熔断 降级 等 机 制 。 








8.1.2 ”在 线性 能 监控 


由 于 在 线 测试 是 在 真实 的 生产 环境 中 发 生 的 ， 数 据 和 操作 都 是 真实 
的 ， 因 此 在 线 测 试 的 安全 性 就 很 重要 ， 必 须 保 证 不 能 对 业务 和 用 户 体 验 
产生 影响 。 在 线性 能 监控 是 指 借助 监控 工具 ， 监 控 系 统 性 能 的 实际 数 
据 。 因 为 是 真实 数据 ， 所 以 它 比 研发 环境 中 通过 工具 产生 负载 得 到 的 测 
试 结果 更 客观 ， 更 有 分 析 价 值 。 





对 于 规模 较 小 的 互联 网 公司 ， 一 个 新 产品 上 线 时 用 户 可 能 比较 少 ， 
对 于 性 能 的 要 求 可 能 不 会 太 高 。 一 般 情 况 下 ， 用 户 数量 是 逐渐 增加 的 。 
在 研发 环境 中 做 完整 的 性 能 测试 ， 既 费 钱 ， 又 费时 ， 因 此 可 以 考虑 在 系 
统 上 线 后 进行 在 线性 能 监控 ， 从 各 项 监控 指标 、 日 志和 调用 链 分 析 中 发 
现 性 能 瓶 宽 、 内 存 泄露 等 问题 ， 从 而 实现 持续 测试 和 持续 调 优 。 这 样 不 
但 可 以 为 公司 节省 一 大 笔 开 支 ， 而 且 赢 得 了 快速 迭代 发 布 的 时 间 。 在 线 
性 能 监控 流程 如 图 8-2 所 示 。 





版 本 发 布 





图 8-2 ”在 线性 能 监控 流程 














在 线性 能 监控 系统 需要 监控 的 节点 有 很 多 ， 包 括 客 户 端 、 服 务 器 、 
中 间 件 、 数 据 库 和 网 络 等 。 对 于 微服 务 架构 的 分 布 式 软件 系统 ， 还 需要 
通过 追踪 微服 务 调用 链 分 析 并 定位 链 路 上 的 性 能 瓶颈 。 要 监控 的 性 能 指 





标 也 很 多 ， 如 用 户 关心 的 页 面 加 载 时 间 、 用 户 输入 响应 时 间 ， 业 务 方面 
需要 关心 的 系统 吞吐 量 、 并 发 用 户 数 ， 以 及 技术 方面 需要 关心 的 内 存 、 
CPU 使 用 情况 等 。 


在 线性 能 监控 工具 包括 AppDynamics、Datadog、Dynatrace、New 
Relic、CollectD 和 StatsD 等 。 分 布 式 系统 的 应 用 性 能 监控 工具 包括 
SkyWalking、Zipkin 和 CAT 等 。 


8.1.3 ”流量 回放 技术 





流量 回放 技术 是 指 把 线 上 真实 流量 数据 导入 测试 环境 中 ， 目 的 是 利 
用 真实 流量 验证 业务 系统 的 功能 和 性 能 。 在 第 4 章 介 绍 发 布 机 制 的 时 候 
曾经 提 到 过 的 影子 发 布 ， 就 是 采用 了 流量 回放 技术 。 在 业务 系统 中 ， 核 
心 业务 模块 的 升级 改造 必须 确保 万 无 一 失 ， 因 此 利用 真实 的 流量 数据 在 
测试 环境 中 先进 行 验证 再 发 布 到 生产 环境 中 是 比较 稳 忆 的 方式 。 流 量 回 
放 的 具体 过 程 如 图 8-3 所 示 。 
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图 8-3 ”流量 回放 的 具体 过 程 


另外 ， 流 量 回放 还 可 以 用 于 在 测试 环境 和 生产 环境 中 对 系统 进行 压 
力 测试 ， 如 全 链 路 压 测 中 测试 数据 的 构造 。 如 图 8-4 所 示 是 采用 开源 工 





具 GoReplay 进 行 压力 测试 的 示意 图 。 
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图 8-4 ”采用 GoReplay 进 行 压力 测试 的 示意 图 








GoReplay 是 具有 流量 回放 功能 的 开源 工具 ， 它 具有 HTTP 实 时 流量 
录制 和 回放 功能 ， 可 以 文 持 影子 测试 及 各 种 环境 中 的 压力 训 试 。 
GeReplay 通 过 侦 听 捕获 生产 环境 中 服务 请 求 和 啊 应 的 详细 信息 ， 包 括 请 
求 内 容 、 顺 序 和 频率 等 ， 然 后 存储 到 文件 或 云端 服务 器 。 在 进行 测试 
时 ，GoReplay 通 过 命令 行 格式 以 指定 的 速率 转 及 先前 存储 的 流量 到 目标 
测试 环境 中 。 


GoReplay 通 过 设置 不 同 的 参数 提供 了 请 求 过 涯 机 制 和 限 速 机 制 。 请 
求 过 小 机 制 可 以 收集 需要 捕捉 的 指定 路 径 、HITP 消 轧 头 ， 或 HITP 方 法 
的 请 求 流量 ， 如 只 收集 /api 路 径 下 的 GET 请 求 。 限 速 机 制 是 指 ， 当 生产 


环境 中 的 流量 回放 到 测试 环境 时 ， 可 以 指定 每 秒 发 送 的 请 求 数 、 友 送 请 
求 的 比例 ， 还 可 以 文 持 压 为 测试 中 的 加 速 ， 如 以 原来 10 倍 速率 转发 请 
求 。 








另外 ，GoReplay 文 持 URL 路 径 、 消 妃 头 等 信息 的 重 写 ， 以 适应 测试 
环境 中 对 测试 数据 的 需要 。GoReplay 文 持 多 种 语言 的 中 间 件 开发 ， 这 样 
可 以 实现 对 数据 的 复杂 操作 ， 把 监听 服务 返回 的 啊 应 和 镜像 服务 返回 的 
啊 应 进行 数据 对 比 以 及 跟踪 分 析 。 











8.2 A/B 测 试 


8.2.1 什么 是 A/B 测 试 


在 互联 网 企业 中 ， 当 开发 了 一 个 系统 的 新 功能 时 ， 我 们 并 不 知道 新 
功能 会 带 来 怎样 的 市 场 效果 ， 这 时 最 好 的 做 法 是 开展 A/B 测 试 : 把 新 、 
旧 两 个 版 本 同时 推送 给 不 同 的 客户 ， 通 过 对 比 实 验 进行 科学 验证 ， 从 而 
判断 这 些 变 化 是 人 否 产生 了 更 积极 并 符合 预期 的 影响 力 ， 为 下 一 步 的 决策 
或 改进 提供 依据 。AAB 测 试 的 目的 是 帮助 企业 提升 产品 的 用 户 体验 ， 实 
现 客 户 增长 或 者 收入 增加 等 经 营 目 标 。 





关于 A/B 测 试 的 市 场 成 功 案 例 有 很 多 。 我 们 先 来 看 看 其 中 一 个 小 的 
改动 带 来 明显 效果 的 例子 ， 以 帮助 读者 理解 什么 是 A/B 测 试 。Fab 是 一 家 
在 线 电 两 ， 原 来 的 购物 车 图 标 古 一 个 购物 车 的 图 采 ， 与 我 们 今天 线 上 购 
物 的 体验 一 样 ， 用 户 浏 览 商 品 时 可 以 通过 单 击 购 物 车 图 标 把 商品 放 进 








去 。 这 家 公司 的 产品 经 理 设计 了 两 个 新 的 方案 ，B1 和 B2， 把 购物 车 的 
图 形 改 成 不 同 的 文字 ， 期 望 新 的 方案 能 够 提高 商品 加 入 购物 车 的 转化 
率 。 





该 公司 把 实现 了 2 个 新 方案 的 不 同 软件 版 本 都 发 布 到 了 线 上 ， 并 与 
老 版 本 同时 运行 ， 接 着 等 价 、 随 机 地 把 同一 地 区 的 用 户 分 流 到 这 3 个 版 
本 上 ， 然 后 在 线 监 控 该 地 区 的 用 户 转化 率 。 运 行 一 段 时 间 后 ， 得 到 的 结 
果 是 : 相 比 老 版 本 A， 新 的 版 本 B1 和 B2 都 不 同 程度 地 提升 了 转化 率 ， 其 
中 B1 提 升 了 49%，B2 提 升 了 15%。 因 此 ，Fab 公 司 最 终 选 择 了 方案 B1， 
向 所 有 用 户 发 布 集成 了 B1 方 案 的 软件 版 本 。 今 天 ， 我 们 在 其 网 站 上 看 到 
的 就 是 纯 文字 的 设计 方案 “Add To Cart"， 如 图 8-5 所 示 。 








目前 ，AB 测 试 在 互联 网 行业 的 产品 迭代 周期 中 得 到 了 广泛 且 深 入 
的 应 用 ， 如 用 来 验证 新 的 算法 、 客 户 端 界面 的 改动 ， 以 及 新 的 运营 策 
略 。 例 如 在 谷歌 的 搜索 页 面 ， 广 告 位 左 移 儿 个 像素 ， 就 有 可 能 会 带 来 营 
收 方面 的 增长 。 虽 然 不 能 用 理论 解释 ， 但 这 也 更 加 证 实 了 A/B 测 试 的 价 
值 。 只 有 A/B 测 试 才 能 “告诉 ”我们 ， 产 品 新 功能 上 线 后 究竟 会 有 怎样 的 
影响 ， 并 且 用 事实 帮助 人 们 做 出 正确 的 业务 决策 。 





该 网 站 所 有 用 户 随机 等 价 划分 成 3 组 


Pa 
本 


新 版 本 B1 新 版 本 B2 
老 版 本 A 1/3 的 访问 者 1/3 的 访问 者 
比 版 本 A 的 点 击 率 比 版 本 A 的 点 击 率 
增加 49% 增加 15% 


图 8-5 “购物 车 ”的 A/B 测 试 案例 
8.2.2 ”A/B 测 试 的 设计 
A/B 测 试 是 一 个 持续 的 实验 过 程 _ 快速 、 轻 量 地 进行 迭代 ， 每 次 
尽量 不 要 做 复杂 的 、 大 量 改动 的 测试 ， 这 样 便于 追查 原因 ， 从 而 进行 快 


速 优 化 ， 然 后 再 和 欠 代 、 再 优化 ， 不 断 提 高 用 户 体 验 ， 不 断 增 加 公司 的 盘 
利 。A/B 测 试 的 实验 过 程 如 图 8-6 所 示 。 
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图 8-6 ”A/B 测 试 的 实验 过 程 





1) 确立 优化 目标 。 根 据 现 有 的 业务 指标 ， 设 立 可 以 落实 到 某 一 个 
功能 点 的 、 可 实施 的 和 可 量化 的 目标 ， 也 就 是 我 们 通常 说 的 “可 验证 
性 ”如 “通过 优化 购物 流程 以 提高 10% 的 订单 转化 率 ”。 





2) 分 析 数 据 。 通 过 数据 分 析 ， 我 们 可 以 找到 现 有 产品 中 可 能 存在 
的 问题 ， 这 样 可 有 针对 性 地 提出 相应 的 优化 方案 。 

3) 提出 假设 。A/B 测 试 的 想法 是 以 假设 的 方式 提出 的 ， 如 把 “购物 
车 ”的 展现 形式 从 图 形 改 成 文字 ， 可 以 促进 转化 率 的 提升 。 在 假设 阶 
段 ， 往 往 会 针对 茶 个 功能 点 提出 多 个 假设 以 供 选择 ， 如 表 8-1 所 示 。 


表 8-1 A/B 测 试 假设 方案 


不 参与 测试 测试 版 本 
测试 假设 下 | 测试 版 本 A| 测试 版 本 | 


的 用 户 C 











把 购物 车 的 展现 形式 从 图 形 改 成 | 采用 现 有 实 | 现 有 的 实 | 改 为 文 改 
文字 能 促进 转化 率 的 提升 现 方案 的 用 | 现 方案 字 “Add To | 为 “+Cart” 
户 Cart” 
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4) 重要 性 排序 。 我 们 在 假设 阶段 往往 会 针对 茶 个 功能 点 提出 多 个 
想法 ， 但 由 于 开发 资源 、 环 境 和 市 场 等 因素 的 制约 ， 需 要 根据 符 解 决 问 
题 的 严重 程度 、 潜 在 收益 和 开 肥 成 本 等 因素 对 所 有 想法 进行 优先 级 的 排 
序 ， 并 选择 最 重要 的 几 个 想法 进行 AB 测 试 。 








5) A/B 测 试 的 设计 。 合 理 且 完善 的 测试 设计 是 实验 成 功 的 保证 。 在 
实验 前 ， 震 要 计划 如 何 确 定 衡量 指标 、 配 置 实验 参数 和 实验 运行 多 长 时 


间 等 。 





6) A/B 测 试 的 执行 。 根 据 设 计 方 案 在 生产 环境 中 进行 AB 测 试 的 实 
验 ， 在 A/B 测 试 平台 中 设 定 实 验 运行 时 的 配置 并 运行 实验 。 








7) 分 析 实 验 结果 。 根 据 实验 数据 分 析 测 试 结果 是 否 证 实 了 假设 对 
选 定 指标 的 提升 达到 了 预期 的 目标 。 实 验 结 果 的 分 析 包 括 两 部 分 : 统计 
学 分 析 和 业务 分 析 ， 即 从 统计 学 的 角度 分 析 结 果 是 否 可 信 ， 并 且 从 业务 





角度 分 析 各 项 衡量 指标 是 否 符合 预期 。 如 果 没有 达到 预期 目标 ， 那 么 要 
决定 天 





古 否 需要 调整 实验 方 采 重新 运行 。 


A/B 测 试 的 设计 需要 考虑 以 下 儿 个 主要 方面 。 





确定 衡量 指标 。A/B 测 试 不 能 只 衡量 蛙 一 指标 。 虽然 条 个 改动 的 目 
标 是 提高 订单 转化 率 或 者 日 活跃 用 户 数 ， 但 也 要 跟踪 对 其 他 系统 指 
标 和 用 户 体验 指标 的 影响 ， 如 请 求 错误 率 、 搜 索 耗 时 等 。 


确定 样本 数量 。A/B 测 试 本 质 上 有 是 统计 学 中 的 假设 检验 ， 用 租 选 出 
的 样本 来 验证 假设 ， 从 而 判断 假设 对 于 忌 体 是 否 成立 。 样 本 量 对 于 
实验 的 有 效 性 有 着 重要 影响 ， 因 此 需要 结合 预期 提升 效果 选取 合适 
的 样本 量 。 样 本 量 越 小 ， 实 验 侦 兰 越 大 ， 通 过 A/B 训 试 就 不 能 得 出 


科学 的 结论 。 











制定 流量 分 配 规则 。 确 保 样本 的 一 致 性 、 平 衡 性 、 随 机 性 和 独立 
性 。 一 致 性 是 指 同一 客户 多 次 进入 同一 个 实验 时 访问 到 相同 的 版 
本 。 平 衡 性 是 指 各 版 本 之 间 的 流量 规模 一 致 。 随 机 性 是 指 茶 个 版 本 
的 样本 选择 是 随机 的 。 独 立 性 指 的 是 ， 当 有 多 个 测试 运行 时 ， 各 个 
测试 之 间 不 会 相互 干扰 。 


设 定 合理 的 实验 时 长 。 虽 然 A/B 测 试 的 意义 在 于 快速 验证 、 快 速决 
泉 ， 但 单个 实验 需要 足够 长 的 时 间 才 能 保证 结果 具有 统计 意义 。 如 
果实 验 只 持续 一 两 天 ， 那 么 数据 的 提升 不 能 排除 是 由 于 用 户 的 新 鲜 
感 造 成 的 。 因 此 根据 业务 需要 进行 1~2 星 期 ， 甚 至 更 长 时 间 的 实 
验 ， 一 是 保证 收集 到 足够 的 样本 量 ， 二 是 避免 在 实验 时 间 段 内 用 户 





行为 的 特殊 性 ， 三 是 保证 实验 结果 的 稳定 性 。 


设 定 假设 检验 的 显著 性 水 平 〈a) 和 统计 功效 (1 一?) 。 所 有 的 实 
验 在 概率 统计 学 上 都 是 存在 误差 的 。 一 般 来 说 ， 只 有 A/B 测 试 实验 
结果 达到 95% 的 置信 和 度 (1 - ae) ， 以 及 80% 一 90% 的 统计 功效 ， 才 
是 有 意义 的 ， 才 可 以 为 决策 提供 参考 。 











8.2.3 ”A/B 测 试 平台 与 测试 执行 


要 保证 A/B 测 试 实验 结果 的 科学 性 ， 就 离 不 开 好 的 A/B 测 试 工具 的 
文 持 。 目 前 开源 的 AB 测 试 工具 有 Google Optimize， 推 荐 将 其 与 统计 工 
县 Google Analytics 组 合 使 用 。 中 小 企业 可 以 选择 开源 工具 ， 或 者 使 用 第 
3 方 的 A/B 测 试 服务 ， 如 AppAdhoc、Optimizely 等 ， 将 不 同 的 方案 通过 第 
3 方 平台 发 布 给 用 户 ， 根 据 数 据 反 馈 分 析 方 案 的 好 坏 。 这 样 ， 通 过 购买 
服务 的 方式 ， 企 业 可 以 让 目 己 快速 具备 A/B 测 试 能 力 。 大 型 互联 网 企业 
通常 会 开发 目 己 的 A/B 测 斌 平台 ， 将 其 作为 公司 基础 架构 的 重要 组 成 部 
分 ， 以 文 持 频 繁 和 高 并 发 的 AB 测 试 实验 。 


一 个 AB 测 试 平台 应 该 具备 统计 分 析 、 用 户 分 流 、 用 户 行 为 记录 分 
析 、 业 务 接 入 、 多 个 实验 并 行 执行 和 管理 等 能 力 。 在 技术 实现 上 有 多 种 
方式 ， 因 此 要 根据 需要 进行 的 A/B 测 试 的 种 类 ， 打 造 适合 自 映 业务 需要 
的 测试 平台 。 





。 用 户 分 流 模 块 。 根 据 各 种 业务 规则 ， 通 过 分 组 算法 实现 将 流量 均 
义 、 随 机 地 分 配给 各 实验 版 本 ， 需 要 文 持 用 户 、 地 域 、 时 间 和 版 本 


等 多 种 维度 的 分 流 方式 。 


。 实 验 管理 模块 。 创 建 实验 及 实验 场景 ， 设 置 实验 的 分 流 规则 和 数据 
指标 ， 管 理 并 查看 实验 报表 的 A/B 实 验 操作 平台 。 








。 统计 分 析 模 块 。 负 责 收集 用 户 行为 日 志 并 统计 分 析 实 验 版 本 之 间 是 
人 否 存 在 统计 性 显著 差异 。 


。 业务 接 入 模块 。 让 业务 系统 和 A/B 测 试 平台 实现 对 接 。 一 般 通 过 提 
供 一 个 A/B 测 斌 SDK 或 者 RESTful 接 口 的 形式 供 业 务 系 统 调用 。 


一 个 针对 移动 端的 A/B 测 试 实验 平台 框架 如 图 8-7 所 示 。 


App 
业务 代码 后 端 业 务 应 用 





1!A/B 测 试 实验 平台 


行为 日 志 





图 8-7 A/B 测 试 实验 平台 框架 
一 个 A/B 测 试 的 执行 过 程 如 下 。 


1) A/B 测 试 实验 管理 员 通 过 A/B 测 试 平台 的 实验 管理 界面 创建 一 个 
新 的 实验 ， 并 配置 实验 参数 ， 制 定 分 流 策略 。 


2) 当 用 户 通 过 业务 系统 的 客户 端 访问 系统 时 ， 包 含 分 流 模 块 的 A/B 
测试 引擎 把 分 流 策 略 下 发 给 App 端 的 A/B 测试 SDK， 该 SDK 根 据 策略 把 
客户 分 配 到 不 同 的 测试 版 本 。 


3) 统计 分 析 模 块 采集 日 志 信 息 和 系统 指标 数据 并 进行 统计 分 析 ， 
根据 事先 定义 的 数据 指标 生成 实验 报告 并 同步 到 面板 。 同 时 ， 需 要 实时 
监控 新 版 本 造成 的 影响 。 如 果 发 现 负面 影响 ， 那 么 应 提早 结束 实验 ， 为 
用 户 尽早 恢复 到 之 前 的 版 本 。 

















4) 实验 结果 和 结论 通过 面板 展示 出 来 。 根 据 事先 定义 的 数据 指标 
和 统计 分 析 结 果 同 步 到 可 视 化 看 板 。 





8.2.4 关于 用 户 体验 的 度量 


很 多 人 认为 产品 的 用 户 体验 是 无 法 度量 的 ， 因 为 用 户 使 用 产品 时 的 
个 人 体验 是 一 种 主观 感受 。 而 《用 户 体验 上 度量: 收集、 分析 与 呈现 《第 
2 版 ) 》 则 提出 : 用 户 体验 是 可 以 度量 的 ， 即 具有 可 测试 性 ， 并 且 上 度量 
是 建立 在 一 套 可 靠 的 测试 体系 之 上 的 。 用 户 体验 的 度量 可 以 揭示 用 户 和 
产品 之 间 交 互 的 有 效 性 是否 能 完成 菜 个 任务 )、 效 率 ( 完 成 任务 时 所 
需要 付出 的 努力 程度 ) 和 满意 度 《〈 在 执行 任务 时 ， 用 户 体验 满意 的 程 
度 ) 。 在 选择 合适 的 度量 方法 时 ， 操 作 绩 效 和 满意 度 是 要 考虑 的 两 个 主 
要 方面 。 通 常 有 4 种 用 户 体 验 的 度量 类 型 ， 如 表 8-2 所 示 。 











表 8-2 用 户 体 验 的 度量 类 型 
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地 


说 明 收集 的 测试 数据 





炎 闻 


嵌 


用 户 完 成 任务 的 情况 ， 如 每 个 任务 
的 成 功率 


针对 用 户 使 用 的 产品 制定 一 个 特定 完成 任务 需要 的 时 间 和 
用 户 在 任务 过 程 中 出 现 的 错误 数 


















































任务 ， 对 任务 完成 的 情况 进行 度量 完成 任务 的 效率 ， 如 页 面 单 击 次 数 








产品 的 易学 性 ， 熟 练 使 用 产品 所 需 
要 的 时 间 


特定 可 用 性 问题 的 发 生 频 率 

每 个 参加 者 遇 到 的 问题 数量 
对 产品 可 用 性 方面 出 现 的 问题 进行 遇 到 某 个 问题 的 参加 者 的 比例 
不 同类 别 中 出 现 问 题 的 频次 ， 如 导 
航 类 的 问题 数量 、 功 能 类 的 问题 数 



































单个 任务 的 难 易 程 度 、 产 品 可 用 

通过 口头 、 书 面 或 在 线 调查 的 形式 性 进行 评分 

收集 、 分 析 用 户 的 直接 反馈 对 产品 的 有 效 性 、 满 意 度 、 易 用 性 
和 易学 性 等 方面 进行 评分 
















































































参与 者 的 视线 在 某 个 感 兴趣 区 域 的 
党 贸 时间、 注视 点 数量 、 浏 览 顺 

通过 眼 动 追踪 、 人 情感 测量 (皮肤 序 、 重 访 次 数 和 命中 率 等 

电 、 面 部 表情 和 脑 电波 ) 等 技术 测 测量 参与 者 的 情感 投入 情况 

量 用 户 行为 和 情感 反映 紧张 或 者 其 他 负面 反应 的 生理 
指标 : 心率 变异 性 、 皮 肤 电 反 应 数 
据 












































下 面 介绍 两 种 常用 的 方法 ， 它 们 用 来 根据 收集 到 的 原始 可 用 性 数据 
生成 可 用 性 度量 指标 。 一 种 方法 是 将 一 个 以 上 的 度量 合并 为 单一 的 可 用 


性 测试 指标 ， 男 一 种 方法 是 将 现 有 的 可 用 性 数据 与 专家 观点 或 理想 的 结 
果 进 行 比较 。 


AB 测 试 的 主要 目的 是 帮助 提升 产品 的 用 户 体验 。 企 业 根据 度量 结 
果 获 得 关于 用 户 体验 的 可 靠 信 息 : 如 用 户 是 否 会 推荐 这 个 产品 ， 与 产品 
老 的 版 本 相 比 ， 新 版 本 的 用 户 体 验 如 何 ; 以 及 与 范 品 相 比 ， 我 们 的 产品 
用 户 体验 是 否 更 好 。 然 后 根据 这 些 信 息 做 出 合理 决策 。 





在 大 型 分 布 式 系统 中 ， 有 大 量 的 软件 及 硬件 一 起 协作 ， 市 点 之 间 依 
徘 网 络 通 信 ， 任 何 市 点 出 现 问 题 都 有 可 能 导致 整个 业务 系统 出 现 故障 。 
随 着 DevOps 的 推广 ， 软 件 应 用 的 持续 部 署 带 来 的 持续 变更 给 系统 的 可 
徘 性 种 来 了 挑战 。 要 想 保 证 一 个 分 布 式 系 统 能 够 正常 运行 ， 在 出 现 故 障 
时 能 够 快速 发 现 并 定位 问题 ， 监 控告 警 系统 已 经 成 为 必 不 可 少 的 组 件 ， 
同时 它 也 是 自动 化 运 维 的 核心 组 成 部 分 。 监 控告 警 系统 对 IT 基础 设施 ， 
以 及 业务 系统 中 的 大 量 数据 进行 收集 处 理 ， 监 测 系统 运行 状况 ， 通 过 可 
视 化 看 板 展 示 系 统 及 服务 的 运行 状态 、 资 源 使 用 情况 ， 当 异常 友 生 时 ， 
及 时 告警 ， 并 帮助 运 维 人 员 迅 速 定位 问题 。 








虚拟 化 、 微 服务 和 云 原生 的 现代 架构 思想 给 监控 系统 提出 更 高 要 
求 ， 这 其 中 包括 : 如 何 实现 对 虚拟 机 及 容 需 集群 的 监控 ， 如 何 收集 处 理 
复杂 多 样 的 实时 监控 数据 ， 以 及 如 何人 奶 踪 服务 之 间 复 杂 的 调用 关系 等 。 


一 个 监控 告警 系统 可 以 对 分 布 式 系统 进行 多 个 维度 的 监控 。 我 们 可 


以 按照 系统 架构 从 下 至 上 进行 划分 。 


1) 基础 设施 监控 : 对 各 种 IT 系统 基础 设施 进行 监控 ， 包 括 操作 系 
统 、 服 务 露 、 虚 拟 机 、 容 句 和 网 络 等 。 可 以 监控 CPU、 内 存 和 磁盘 等 资 
源 使 用 情况 和 网 络 通信 和 情况。 


2) 中 间 件 监控 : 包括 对 数据 库 中 间 件 、MQ〔 消 恕 队列 ) 和 Web 服 
务 絮 等 系统 的 监控 ， 如 一 段 时 间 内 的 请 求 量 、 啊 应 时 间 每 指标 ， 以 及 访 


问 日 志 信息 。 





3) 应 用 监控 : 对 企业 目 己 开发 的 业务 应 用 的 监控 ， 这 里 需要 监控 
的 内 容 有 很 多 ， 如 服务 依赖 关系 和 接口 性 能 监控 。 


4) 业务 监控 : 业务 指标 不 但 反映 公司 的 经 营 状 况 ， 而 且 可 以 用 来 
诊断 系统 是 否 在 稳定 运行 。 如 果 系 统 出 现 了 故障 ， 那 么 最 先 受到 影响 的 
往往 是 业务 指标 。 例 如 ， 一 段 时 间 内 的 用 户 访问 量 、 交 易 金额 和 订单 数 
量 等 出 现 不 正常 的 流动， 就 有 可 能 是 系统 错误 或 者 性 能 问题 影响 了 用 户 
正常 使 用 。 

















5) 用 户 体验 监控 : 对 影响 用 户 体验 的 指标 进行 监控 ， 如 用 户 从 客 
户 端 访 问 时 的 卡 顿 率 、 加 载 时 长 等 。 


另外 ， 按 照 需要 收集 、 处 理 的 数据 来 划分 ， 监 控告 警 系统 可 以 分 为 
3 类 : 基于 日 志 (og) 分 析 的 监控 系统 、 基 于 系统 指标 metric) 的 监 
控 系 统 和 基于 调用 链 (tracing) 分 析 的 监控 系统 ， 也 叫 链 路 追踪 的 监控 
系统 。 其 中 ， 系 统 指标 数据 是 指 芽 系统 中 反映 网 络 、 内 存 、CPU、 磁 


盘 、 内 核 、 数 据 库 和 应 用 等 运行 状况 的 一 段 时 间 内 的 统计 指标 ， 如 CPU 
占用 率 、 网 络 珊 宽 使 用 率 、 数 据 库 连接 数 和 应 用 在 茶 段 时 间 内 的 请 求 访 


问 量 等 。 


而 无 论 是 哪 种 类 型 的 监控 告警 系统 ， 从 功能 上 来 说 都 包括 3 个 核心 
模块 : 数据 收集 、 数 据 处 理 和 数据 应 用 。 


1) 数据 收集 : 根据 监控 系统 目 定 义 的 内 容 从 分 布 式 系统 中 的 各 个 
节点 采集 信息 数据 。 


2) 数据 处 理 : 对 收集 来 的 原始 数据 进行 整理 ， 包 括 数据 过 滤 、 聚 
合 处 理 ， 然 后 传输 并 存储 到 监控 系统 数据 库 中 。 有 的 监控 系统 将 监控 数 
据 保存 在 MySQL 中 ， 有 的 监控 系统 将 数据 保存 在 MongoDB、 
OpenTSDB 和 InfluxDB 等 时 序数 据 库 中 。 





3) 数据 应 用 : 包括 对 数据 的 展示 、 检 索 和 告警 等 应 用 场景 。 对 于 
处 理 后 的 数据 ， 可 以 在 监控 面板 上 以 曲线 图 、 饼 状 图 和 仪表 盘 等 直观 的 
方式 展示 出 来 ， 同 时 根据 事先 设 定 的 国 值 和 告警 规则 监控 各 项 指标 和 数 
据 的 状态 ， 当 茶 个 监控 项 符合 告警 规则 时 ， 系 统 通过 邮件 、 短 信 等 形式 
通知 研发 人 员 和 运 维 人 员 ， 以 达到 告警 的 目的 。 另 外 ， 对 于 各 种 类 型 的 
数据 ， 监 控 系 统 应 该 提供 多 维度 的 数据 查询 方式 ， 如 异常 日 志 的 上 下 文 
查询 、 监 控 指 标 数 据 的 查询 等 。 


8.3.1 日 志 分 析 及 Elastic Stack 上 的 使 用 


日 志 用 来 记录 系统 中 硬件 、 软 件 和 系统 的 信息 ， 以 及 在 特定 时 间 发 
生 的 事件 ， 是 以 结构 化 的 形式 记录 并 产生 的 文本 数据 。 线 上 会 产生 各 种 
各 样 的 日 志 信 息 ， 包 括 操作 系统 输出 的 日 志 、 应 用 程序 的 日 志和 数据 库 
的 日 志 等 。 我 们 还 可 以 获得 记录 用 户 行 为 数据 的 行为 日 志 ， 以 及 服务 请 
求 和 啊 应 的 日 志 等 。 在 大 型 分 布 式 系统 中 ， 日 志 是 典型 的 大 数据 ， 大 多 
数 互联 网 应 用 每 天 产生 的 日 志 量 就 有 上 百 GB， 而 且 日 志文 件 要 求 留 存 
一 定 的 时 间 ， 如 《阿里 巴巴 Java 开 发 手册 》 中 的 日 志 规 约 规定 :“ 所 有 
日 志文 件 至 少 保存 15 天 ， 网 络 运行 状态 、 安 全 相关 信息 、 系 统 监 测 、 管 
理 后 人 台 操 作 、 用 户 敏感 操作 需要 留存 相关 的 网 络 日 志 不 少 于 6 个 月 。” 这 
些 海量 的 数据 分 散在 不 同 的 主机 节点 上 ， 需 要 专业 的 日 志 分 析 解 决 方案 
从 每 个 节点 收集 日 志 ， 进 行 过 小 、 聚 合 、 存 储 和 统计 等 处 理 ， 并 将 数据 
通过 可 视 化 面板 展示 出 来 ， 从 而 帮助 企业 进行 系统 故障 诊断 及 业务 决 




















小 


日 志 分 析 的 作用 主要 体现 在 以 下 两 个 方面 。 


一 方面 ， 通 过 对 行为 日 志 进 行 分 析 获 得 大 量 有 价值 的 用 户 数 据 ， 如 
用 户 访问 App 时 使 用 的 终端 硬件 信息 、 软 件 版 本 信息 、 位 置信 息 和 行为 
数据 等 ， 帮 助 企 业 有 效 地 改善 产品 的 用 户 体验 和 提升 转化 率 。 











如 果 我 们 在 在 线 购物 App 中 搜索 过 东 类 商品 ， 当 再 次 进入 该 App 的 
时 候 ， 页 面 上 呈现 的 往往 是 我 们 搜索 过 的 商品 的 同类 商品 。 对 于 这 种 情 
况 ， 在 背后 发 挥 作用 的 是 个 性 化 推荐 系统 。 推 荐 系统 的 核心 就 是 利用 大 
数据 处 理 系统 对 用 户 的 行为 数据 进行 监测 、 收 集 和 分 析 。 用 户 对 商品 的 
单 击 、 浏 览 、 收 藏 、 加 入 购物 车 和 购买 等 行为 在 用 户 与 商品 之 间 形 成 行 








为 数据 ， 这 些 痢 记录 在 行为 日 志 中 ; 对 日 志 数 据 进 行 分 析 并 结合 用 户 的 
个 人 信息 《性 别 、 年 龄 和 喜好 等 ) ， 就 能 够 了 解 用 户 的 个 人 偏好 及 购物 
习惯 ， 然 后 筛选 出 符合 条 件 的 商品 ， 并 通过 一 定 的 排序 呈现 给 用 户 。 





另 一 方面 ， 通 过 日 志 分 析 监 控 系 统 运行 状态 ， 检 测 异 向， 辅助 研发 
人 员 或 运 维 人 员 进 行 问题 定位 。 








日 志 可 以 记录 系统 在 任意 时 间 的 运行 状态 ， 包 括 系统 各 节点 的 运行 
错误 和 异常 。 男 外 ， 日 志 是 结构 化 的 文本 ,很 容易 通过 茶 种 格式 进行 检 
索 ， 可 以 帮助 我 们 发 现 系统 异种 并 排除 故障 。 





在 大 型 系统 中 ， 实 时 产生 的 日 志 数 量 巨大 ， 需 要 借助 工具 进行 处 理 
和 分 机。 目前 有 多 种 日 志 分 析 工 具 可 供 选 择 ， 包 括 Splunk、ELK、 
Graphite 和 LogAnalyzer 等 。 开 源 的 日 志 分 析 和 监控 系统 自选 ELK， 它 是 
由 Elasticsearch、Logstash 和 Kibana 组 合 而 成 的 技术 栈 ， 分 别 实现 了 上 自动 
搜索 与 索引 、 日 志 收 集 以 及 可 视 化 展示 等 功能 。 








不 过 ，Logstash 进 程 在 数据 量 大 的 时 候 比 较 消 耗 系统 资源 ， 会 影响 
业务 系统 的 性 能 。 因 此 ， 近 几 年 引入 Beats 代 蔡 Logstash 作 为 轻 量 级 的 数 
据 收 集 器 。Beats 的 优点 是 占用 系统 资源 很 少 。ELK 最 新 的 名 字 是 Elastic 
Stack， 由 原来 的 3 个 组 件 加 上 Beats 组 成 。Beats 支 持 多 种 数据 源 ， 其 中 
Filebeat 用 于 日 志 数 据 采 集 ， 从 分 布 式 环境 中 的 主机 节点 上 采集 数据 发 
送 给 Logstash， 由 Logstash 负 责 解析 、 过 滤 后 ， 再 将 数据 发 送 到 
Elasticsearch 并 编 入 索引 ， 最 后 由 Kibana 进 行 可 视 化 。Filebeat 也 可 以 直 
接 把 数据 发 送 至 Elasticsearch 或 者 经 过 消息 队列 发 送 至 Logstash， 系 统 架 








构 如 图 8-8 所 示 。Kafka 作 为 消息 队列 在 日 志 收 集 里 具有 存储 加 缓冲 的 功 
能 ， 用 于 防止 瞬间 流量 爆发 导致 的 系统 衣 训 。 
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图 8-8 ”Elastic Stack 日 志 分 析 架 构 示 意图 


8.3.2 ”调用 链 分 析 及 SkyWalking 的 使 用 





调用 链 分 析 技 术 是 对 监控 系统 中 日 志和 系统 指标 监控 的 重要 补充 。 
在 微服 务 架 构 的 分 布 式 系 统 中 ， 当 客户 拳 友 起 一 个 请 求 时 ， 往 往 会 调用 
多 个 服务 ， 涉 及 多 个 中 间 件 ， 加 上 系统 又 分 布 在 多 人 台 服 务 器 上 ， 因 此 ， 
当 系 统 出 现 问题 时 ， 故 障 诊断 就 变 得 非常 复杂 。 调 用 链 分 析 也 称 为 分 布 
式 链 路 追踪 ， 把 每 次 请 求 的 调用 路 径 完整 地 记录 下 来 ， 还 原 调 用 链 各 个 
环 市 的 依赖 关系 并 记录 请 求 与 啊 应 的 性 能 数据 ， 实 现 对 系统 性 能 的 监控 
以 及 故障 的 快速 定位 。 














调用 链 分 析 技 术 首 次 出 现 于 谷歌 在 2010 年 发 表 的 论文 《Dapper， 大 
型 分 布 式 系统 追踪 基础 架构 》 (“Dapper, a Large-Scale Distributed 
System Tracking Infrastructure”) 中 ， 该 论文 阐述 了 调用 链 分析 技 术 的 基 
本 原理 。 其 后 很 多 调用 链 分 析 工 具 是 在 该 论文 的 基础 上 产生 的 。 目 前 已 
经 形成 了 比较 成 熟 的 调用 链 分 析 和 应 用 性 能 监控 解决 方案 ， 包 括 





Zipkin、Jaeger、SkyWalking、Elastic APM 和 了 Pinpoint 等 。 


在 第 6 章 介绍 过 Pinpoint， 这 里 我 们 介绍 男 一 款 开 源 的 工具 
SkyWalking。SkyWalking 提 供 了 一 个 分 布 式 系统 的 直观 的 观测 平台 ， 用 
于 从 服务 和 云 原 生 基 础 设施 收集 、 处 理 及 可 视 化 数据 ， 通 过 监控 、 告 
警 、 可 视 化 和 分 布 式 奶 踩 等 功能 为 微服 务 、 分 布 式 以 及 容器 化 的 系统 架 
构 提 供 了 可 观测 性 〈observability) 。 它 可 以 观测 横 跨 不 同 云 的 分 布 式 
系统 ， 而 且 从 SkyWalking 6 开始 支持 下 一 代 的 分 布 式 架构 Service 
Mesh 。 


同 为 优秀 的 开源 APM 工 具 ，Pinpoint 和 SkyWwalking 都 是 采用 无 侵入 
式 的 字 节 码 注 入 的 方式 实现 链 路 人 奶 踪 。SkyWwalking 的 优势 在 于 文 持 
OpenTracing 提 供 的 标准 API， 并 且 在 大 流量 的 情况 下 对 业务 系统 的 性 能 
损耗 低 ， 文 持 的 存储 方式 更 丰富 。 而 Pinpoint 不 文 持 OpenTracing， 并 且 
只 文 持 HBase 的 存储 方式 ， 对 系统 性 能 损耗 较 高 。 





SkyWalking 在 架构 上 分 为 4 个 部 分 ， 如 图 8-9 所 示 。 
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图 8-9_ Skywalking 架 构图 


。 探 针 : 用 来 收集 并 发 送 数据 到 归 集 器 。SkyWalking 探 针 在 使 用 上 是 
无 代码 侵入 的 自动 埋 点 ， 基 于 Java 的 Java Agent 技 术 。 当 某 个 调用 
链 运行 至 已 经 被 SkyWalking 代 理 过 的 方法 时 ，SkyWwalking 会 通过 代 
理 逻 辑 进 行 这 些 关 键 闻 点 信息 的 收集 、 传 递 和 上 报 ， 从 而 还 原 出 整 
个 分 布 式 链 路 。 





可 观察 性 分 析 平 台 (observability analysis platform，OAP) : 用 于 数 
据 聚 合 、 数 据 分 析 以 及 驱动 数据 流 从 探 针 到 用 户 界面 的 流程 的 后 

人 台 ， 由 兼容 各 种 探 针 的 Receiver、 流 式 分 析 内 核 和 查询 内 核 3 部 分 构 
成 。 





存储 实现 (storage implementor) : OAP Server 文 持 多 种 存储 实 
现 ， 并 且 提 供 了 标准 接口 。 


。UI: 是 一 个 Web 可 视 化 平台 ， 进 行 统计 数据 查询 和 展现 ， 并 人 允许 用 
户 通 过 定制 管理 数据 。 在 SkyWalking 8.1 的 UI 中 ， 提 供 仪 表盘 、 拓 
扑 图 、 追 踪 及 告警 信息 的 可 视 化 。 


SkyWalking 生 成 的 服务 调用 关系 拓扑 图 如 图 8-10 所 示 。 在 该 拓扑 图 
中 ， 主 要 显示 存在 流量 关系 的 服务 间 的 调用 关系 ， 根 据 线条 流向 ， 可 以 
获知 调用 关系 。 








图 8-10 Skywalking UI: 分 布 式 系统 的 服务 调用 关系 拓扑 图 











过 退 踪 界面 可 以 获取 方法 级 别 的 调用 关系 ， 可 以 按照 妃 踪 ID 碍 询 
相关 接口 ， 并 且 可 以 切换 不 同 的 调用 链 展现 形式 ， 如 图 8-11 所 示 。 








图 8-11 SkyWalking UI: 链 路 追踪 


8.3.3 ”指标 监控 及 Prometheus 的 使 用 


指标 数据 记录 系统 在 一 段 时 间 内 的 茶 个 维度 的 数值 ， 包 括 反 映 业务 
状况 、 用 户 体 验 及 系统 运行 状况 的 指标 等 。 通 过 指标 监控 可 以 直观 地 观 
测 到 整个 系统 的 运行 状况 ， 根 据 菜 项 指标 的 波动 排查 系统 出 现 的 问题 。 





同时 ， 还 可 以 通过 指标 数据 了 解 产 品 上 线 之 后 的 真实 效果 ， 为 业务 决策 
提供 文 持 。 


谷歌 针对 分 布 式 系统 提出 了 在 服务 层面 需要 监控 的 4 个 黄金 指标 
(four golden signal) ， 分 别 是 延迟 、 通 信 量 、 错 误 和 饱和 度 。 现 在 这 
些 指标 已 经 成 为 了 通用 的 系统 监控 指标 。 





延迟 〈latency) : 记录 用 户 服务 请 求 的 啊 应 时 间 。 


。 通信 量 (traffioO: 监控 当前 系统 发 生 的 请 求 流量 ， 用 于 衡量 服务 的 容 


错误 (error): 监控 当前 系统 发 生 的 错误 请 求 数 量 ， 用 于 衡量 错误 发 
生 的 速率 。 


饱和 度 〈saturation) : 监控 能 够 影响 服务 状态 的 受 限 资源 的 利用 
率 ， 如 CPU 的 使 用 率 、 内 存 使 用 率 和 磁盘 使 用 率 等 。 


Prometheus 是 2015 年 发 布 的 一 僚 开 源 的 系统 监控 告警 框架 。 
Prometheus 能 抓 取 或 拉 取 应 用 程序 导出 的 时 间 序 列 数 据 ， 适 用 于 指标 监 
控 维 度 ， 但 要 用 于 日 志 监 控 和 分 布 式 链 路 追踪 ， 还 有 待 完善 。 
Prometheus 系 统 架 构 如 图 8-12 所 示 。 











Prometheus Server 定 期 从 配置 好 的 Jobs 或 者 Exporters 中 拉 取 指标 信 
恩 ， 或 者 接收 来 自 Pushgateway 发 过 来 的 指标 信息 。Prometheus Server 把 
收集 到 的 信息 存储 到 时 间 序 列 数据 库 中 ， 并 运行 已 经 定义 好 的 
alertrules， 疝 Alertmanager 推 送 警报 信息 。Alertmanager 根 据 配置 文件 ， 





对 接收 的 警报 信息 进行 处 理 并 发 出 告警 。Prometheus 通 过 Prometheus 
Web UI 进 行 可 视 化 展示 。 不 过 ，Prometheus 自 带 的 展示 功能 比较 弱 ， 界 
面 不 够 美观 ， 因 此 我 们 更 推荐 与 Grafana 结 合 来 实现 数据 的 展示 。 
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图 8-12 ”Prometheus 架 构 示意 图 





Prometheus 自 禹 时 间 序 列 数据 库 进 行 数据 存储 ， 文 持 独 有 的 
PromQL 碍 询 语言 。 因 为 采用 拉 取 数据 的 方式 ， 所 以 对 业务 的 侵入 性 最 
小 ， 比 较 适 合 Docker 封 装 好 的 云 原生 应 用 ， 如 Kubernetes 默 认 就 采用 了 
Prometheus 作 为 监控 系统 。 





Pe HD 


ee Docker 容 器 、Kubernetes 等 
的 监控 支持 ， 并 对 微服 务 的 运行 状态 进行 监控 。 在 基于 指标 数据 的 监控 
方面 ， ae 图 8-13 展 示 了 
Prometheus 结 合 Grafana 对 微服 务 请 求 和 响应 指标 进行 监控 的 可 视 化 界 


面 。 











图 8-13 ”Prometheus 结 合 Grafana 实 现 微服 务 监控 可 视 化 


8.3.4 ”监控 系统 解决 方案 


在 搭建 监控 告警 系统 时 ， 目 前 有 很 多 优秀 的 开源 工具 可 供 选 择 。 在 
监控 系统 中 ， 每 个 工具 都 可 以 以 组 件 形式 存在 ， 因 此 比较 方便 进行 组 合 
蔡 换 。 


(1) 数据 收集 方面 





。Logstash 是 Elastic Stack 的 “家 族 成 员 ， 文 持 动 态 地 从 各 种 数据 源 收 
集 数据 ， 并 对 数据 进行 过 滤 、 分 析 和 格式 化 等 ， 然 后 传输 到 指定 的 
存储 。 





。 Beats 是 Elastic Stack 的 “家 族 成 员 ”， 是 一 个 轻 量 级 的 开源 数据 采集 
器 架构 。Beats 组 件 包括 Filebeat、Packetbeat、Metricbeat、 
Heartbeat、Auditbeat、Journalbeat、Winlogbeat 和 Functionbeat 8 种 类 
型 ， 可 以 用 来 采集 文件 、 网 络 、 指 标 和 审计 等 各 类 数据 。 





Flume 主 要 用 来 采集 日 志 类 数据 ， 是 Apache 的 “家 族 成 员 ”。 


Telegraf 用 来 采集 各 类 指标 数据 。 


CollectD 古 一 个 守护 进程 ， 用 来 定期 采集 系统 和 应 用 的 性 能 指标 ， 
同时 提供 了 以 不 同 的 方式 存储 这 些 指 标 值 的 机 制 。 


(2) 数据 的 处 理 和 存储 方面 





IfluxDB 是 一 个 开源 的 分 布 式 时 序 、 时 间 和 指标 数据 库 ， 文 持 的 数 
据 类 型 非常 丰富 ， 性 能 表现 也 非常 优 夯 。 





Elasticsearch 是 Elastic Stack 的 “家 族 成 员 ， 人 负责 数 据 存储 和 检索 ， 
能 对 大 容量 的 数据 进行 近 实 时 的 存储 、 搜 索 和 分 析 操 作 。 它 能 够 存 
储 日 志 ， 也 能 够 存储 监控 指标 和 调用 链 关 系 ， 支 持 丰 富 的 聚合 函 

数 。 


(3) 数据 展示 方面 





Grafana 集 成 了 非常 丰富 的 数据 源 ， 通 过 简单 的 配置 ， 即 可 得 到 非 
常 专业 的 监控 图 。 








Kibana 是 Elastic Stack 的 “家 族 成 员 。。 它 通常 与 Elasticsearch 搭 配 使 
用 ， 对 其 中 的 数据 进行 搜索 、 分 析 并 以 图 表 的 方式 展示 。 它 支持 3 
种 数据 类 型 的 展示 : 日 志 、 指 标 和 调用 链 。 





上 面 介 绍 的 Prometheus、SkyWalking 及 Elastic Stack 都 是 解决 方案 级 
别 的 工具 ， 提 供 数 据 末 集 、 处 理 、 展 示 和 告警 的 完整 解决 方案 。Elastic 


Stack 的 4 个 “家 族 成 员 ” 一 起 使 用 ， 不 但 支持 基于 日 志 分 析 的 系统 监控 ， 
而 且 可 以 通过 Metricbeat 或 Heartbeat 采 集 系 统 指 标 数 据 实现 基于 指标 数 
据 的 监控 。SkyWalking 同 时 支持 调用 链 分 析 、 日 志 分 析 及 系统 指标 监 
控 。 











每 种 解决 方案 有 自己 的 侧重 点 ， 可 以 成 为 某 个 领域 的 首选 。 在 云 计 
算 时 代 ， 监 控告 警 系 统 的 目标 是 打造 一 套 支 持 云 原 生 应 用 的 监控 平台 ， 
通过 对 复杂 信息 系统 提供 可 观测 性 ， 及 时 掌握 各 种 资源 的 运行 状况 ， 文 
持 安 人 全、 稳定、 高效 和 持续 地 运行 业务 。 日 志 、 指 标 和 调用 链 是 监控 数 
据 的 3 个 重要 维度 。 对 于 日 志 分 析 首 推 Elastic Stack。Prometheus 结 合 
InfluxDB 在 系统 指标 监控 方面 的 表现 更 为 强大 。 调 用 链 奶 踩 系 统 方面 的 
开源 工具 推荐 选择 支持 OpenTracing 规 范 的 APM 工 具 ， 包 括 
SkyWalking、CAT、Zipkin 和 Jaeger 等 。 





同时 ，Skywalking 和 Prometheus 都 文 持 Elasticsearch 作 为 后 端 存 储 系 
统 ， 将 日 志 、 指 标 和 调用 链 分 析 数 据 整合 到 一 起 ， 并 在 Kibana 中 将 它们 
全 部 关联 起 来 ， 从 而 形成 一 套 多 维度 观测 系统 的 完整 且 强 大 的 监控 体 
未 。 


8.4 Ec 0 | 大 你 


在 研发 阶段 ， 可 以 进行 代码 的 静态 分 析 、 
试 等 ， 以 发 现代 码 和 系统 级 别 的 安全 漏洞 。 在 产品 上 线 后 ， 通 过 监控 和 
检查 ， 发 现 系 统 的 安全 漏洞 并 及 时 修正 ， 也 是 一 项 重要 的 工作 。 这 样 的 
工作 可 以 看 作 系统 安全 性 的 在 线 测试 ， 是 为 了 保证 软件 系统 操作 的 合 规 





性 和 数据 的 安全 性 。 通 过 运用 各 种 技术 手段 实时 收集 软件 系统 运行 过 程 
中 的 状态 、 数 据 的 危险 变更 和 用 户 操 作 活动 等 信息 ， 可 以 方便 集中 记 
录 、 分 析 和 告警 。 

实现 在 线 安全 监控 需要 建立 一 套 相 对 完整 的 运 维 安全 监控 与 审计 框 


染 ， 如 图 8-14 所 示 ， 具 备 监控 、 审 计 、 预 防 、 恢 复 和 支撑 等 功能 。 


不 可 抵赖 

















图 8-14 系统 运 维 安全 监控 与 审计 框架 图 

在 线 的 安全 测试 重点 关注 4 个 方面 。 

1) 身份 认证 、 授 权 、 访 问 控制 和 不 可 抵赖 等 已 整合 到 软件 系统 
内 ， 经 过 之 前 的 安全 性 功能 测试 和 渗透 测试 ， 在 运 维 环境 中 还 可 以 进 一 
步 得 到 验证 ， 就 是 “审计 ”。 

2) 对 用 户 名 、 访 问 时 间 、 操 作 和 访问 的 资源 地 址 等 信息 进行 审 
计 ， 判 断 这 些 信息 是 否 符 合 规范 和 要 求 ， 以 及 有 没有 越权 或 进行 其 他 不 
安全 的 资源 访问 等 。 











3) 入 侵 检测 用 来 检测 有 没有 一 些 用 户 越过 访问 控制 机 制 进 入 系统 
内 部 ， 包 括 对 访问 者 的 耳 地 址 、 用 户 名 、 访 问 时 间 和 访问 频率 等 进行 检 
测 ， 如 访问 频率 过 高 ， 束 及 出 警报 信息 并 和 暂时 冻结 该 用 户 的 访问 功能 。 











4) 整体 检验 是 指 结合 审计 结果 、 入 侵 检测 信息 和 资源 访问 日 志 等 
进行 综合 判断 ， 检 验 当 前 系统 整体 运行 是 否 安全 ， 如 果 不 安全 ， 则 系统 
发 出 通知 并 局 动 安全 保护 模式 。 





8.5 宴 沌 工程 


云 平台 可 能 会 发 生 不 同类 型 的 线 上 故障 。 例 如 ，2018 年 6 月 27 日 ， 
发 生 了 大 量 客户 无 法 正常 访问 阿里 云 官网 、 控 制 台 及 部 分 在 线 功 能 的 故 
障 ， 故 障 发 生 半 小 时 之 后 才 陆 续 恢 复 。 随 后 ， 阿 里 云 公司 对 此 事件 发 布 
了 故障 说 明 ， 其 中 写 到 : 这 一 功能 在 测试 环境 验证 中 并 未 发 生 问 题 ， 从 
上 线 自动 化 运 维系 统 后 ， 触 发 了 一 个 未 知 代码 bug。 由 此 可 见 ， 对 于 大 
规模 、 高 复杂 度 的 服务 器 系统 来 次， 仅 在 测试 环境 进行 测试 已 经 无 法 满 
足 质 量 需 求 ， 在 生产 环境 下 进行 测试 必 将 会 在 现在 及 未 来 云 时 代 中 占据 
重要 位 置 。 混 沌 工程 及 其 基于 故障 注入 的 测试 提供 了 在 生产 环境 中 进行 
科学 实验 的 方法 和 技术 。 




















8.5.1 ”混沌 工程 的 由 来 





混沌 《〈chaos) 是 指 无 育 和 混乱 的 状态 。 “蝴蝶 效应 ?就 是 一 种 典型 的 
混沌 现象 ， 一 只 小 小 的 蝴蝶 属 动 这 膀 而 扰动 了 空气 ， 在 几 周 后 可 能 导致 











在 遥远 的 地 方 发 生 一 场 龙卷风 。 这 意味 痢 系 统 初始 条 件 中 微小 的 变化 帝 
来 的 兰 异 会 以 指数 形式 增长 ， 从 而 造成 其 末 来 状态 的 巨大 差别 。 





系统 的 复杂 性 会 加 剧 混沌 现象 ， 能 够 影响 系统 的 因素 越 多 ， 系 统 行 
为 的 不 确定 性 及 不 可 预测 性 束 会 表现 得 更 加 极端 。 当 一 个 业务 系统 足够 
复杂 时 ， 一 个 微小 的 误差 也 许 会 寻 致 线 上 系统 在 长 时 间 运 行 中 出 现 大 面 
积 的 故障 甚至 崩 沉 。 而 由 于 软件 测试 不 可 能 做 到 穷尽 ， 特 别 是 在 测试 环 
境 中 不 可 能 完全 还 原生 产 环 境 的 规模 和 过 到 的 复杂 场景 ， 软 件 中 的 缺陷 
及 其 导致 的 误差 总 是 难以 避免 ， 因 此 在 生产 环境 中 不 可 预期 的 各 种 故障 
总 是 难以 避免 。 





这 里 需要 提 一 下 微服 务 架构 。 在 2012 年 前 后 ， 人 们 提出 了 微服 务 架 
构 ， 用 以 取代 之 前 的 单 体 染 构 。 如 今 大 家 越 来 越 多 地 采用 基于 微服 务 染 
构 的 分 布 式 软件 系统 ， 这 种 杂 构 有 利于 提高 软件 系统 的 可 扩展 性 、 可 仲 
缩 性 及 可 用 性 。 





Netflix 是 美国 著名 的 科技 公司 ， 其 流 媒 体 播放 平台 的 全 球 用 户 数 正 
逼近 2 亿 。Netflix 是 把 微服 务 架 构 在 生产 级 别 进行 符 试 的 先驱 。2008 年 8 
月 ，Netflix 当 时 的 业务 系统 还 是 单 体 架 构 ， 其 主要 数据 库 发 生 了 故障 ， 
导致 了 系统 停机 3 天 ，DVD 租 赁 业务 被 迫 中 断 ， 大 量 用 户 受 到 影响 。 
Netflix 从 2009 年 开始 进行 服务 化 拆 分 ， 将 数据 中 心 迁 移 到 云 平 台 ， 并 进 
行 了 一 系列 组 织 、 流 程 和 工具 等 的 演进 。 后 来 ，Netflix 将 其 微服 务 架构 
核心 技术 开源 ， 并 称 为 Netflix OSS。Pivotal 公 司 在 其 基础 上 封装 出 
Spring Cloud， 其 成 为 目前 普遍 使 用 的 微服 务 框架 。 


在 采用 了 微服 务 架构 后 ，Netflix 的 微服 务 分 布 式 系统 如 图 8-15 所 
示 。 可 以 看 到 ， 基 于 微服 务 的 分 布 式 架构 引入 了 新 的 复 末 性 。 随 着 服务 
节点 数 的 增加 ， 系 统 越 来 越 复杂 ;各 服务 之 间 的 调用 关系 错综复杂 ， 特 
别 依 赖 网 络 连接 的 可 靠 性 ;庞大 的 用 户 群 体制 造 出 各 种 不 可 预知 的 用 户 
行为 ， 因 此 面临 着 比 以 往 更 多 的 不 确定 性 和 不 可 预测 性 ;各 类 硬件 、 网 
络 、 应 用 本 里 及 第 3 方 依赖 的 服务 方面 的 故障 依然 层出不穷 。 








Netflix 的 工程 师 采 用 了 对 故障 进行 主动 防御 的 措施 ， 在 2010 年 开发 
了 Chaos Monkey， 这 个 工具 可 以 随机 终止 在 AWS 生 产 环境 中 运行 的 EC2 
实例 ， 由 此 可 以 快速 了 解 正在 运行 的 系统 是 否 还 可 以 正常 提供 服务 。 从 
此 ，Netflix 开 始 了 混沌 工程 的 一 系列 发 展 和 演进 。 














2011 年 ，Netflix 开 发 了 “猴子 军团 ”工具 集 : Simian Army， 用 于 向 基 
础 设施 及 业务 系统 中 注入 各 类 故障 。 


2014 年 ，Netflix 提 出 了 基于 故障 注入 的 测试 (failure injection 
testing，FIT) ， 通 过 控制 实验 的 影响 范围 让 实验 变 得 可 控 。 








图 8-15 ”Netflix 的 微服 务 分 布 式 系统 


2015 年 ，Netflix 正 式 提 出 混沌 工程 的 指导 思想 。 





2016 年 ，Netflix 发 布 了 混沌 工程 自动 化 平台 (chaos automation 
platform，ChAP) ， 在 FIT 的 基础 上 进一步 加 强 了 实验 的 目 动 化 程度 ， 
以 及 对 实验 中 影响 范围 的 控制 。 


混沌 工程 通过 复杂 的 技术 手段 设计 和 执行 一 系列 的 实验 让 系统 在 受 
控 的 情况 下 暴露 出 脆弱 环节 并 进行 修复 ， 将 故障 可 能 导致 的 影响 降 至 最 
低 。 混 沌 工程 是 一 套 提 高 技术 架构 容错 能 力 和 弹性 能 力 的 实践 方法 ， 系 
统 的 弹性 与 其 正常 运行 时 间 和 可 用 性 成 正比 ， 系 统 的 弹性 越 好 ， 意 味 着 
其 从 故障 中 恢复 的 能 力 越 强 ， 因 此 ， 系 统 的 可 用 性 就 会 越 高 。 当 系统 可 
用 性 达到 99.99% 时 ， 全 年 停机 状态 持续 时 间 低 于 53 分 钟 ， 而 达到 
99.9999% 时 ， 全 年 停机 持续 时 间 低 于 5 分 钟 。 








8.5.2 ”基于 故障 注入 的 测试 


基于 故障 注入 的 测试 通过 将 故障 引入 测试 /生产 环境 来 测试 系统 的 
弹性 能 力 。Netflix 在 2014 年 推出 了 名 为 FIT 的 故障 注入 测试 工具 ， 这 个 
工具 允许 工程 师 在 访问 服务 的 一 类 请 求 的 请 求 头 中 注入 一 些 失败 场景 。 
这 些 被 注入 失败 场景 的 请 求 在 系统 中 流转 的 过 程 中 ， 微 服务 中 被 注入 的 





故障 锁 点 会 根据 不 同 的 失败 场景 触发 相应 的 逻辑 。 





Netflix 在 生产 环境 中 大 规模 地 使 用 FIT。 在 其 官方 博客 中 ， 发 表 了 
多 篇 文章 宣传 FIT 及 其 收益 。 在 未 来 越 来 越 复杂 的 云 服务 时 代 ， 对 于 一 
个 追求 质量 的 系统 ，FIT 肯 定 是 必 不 可 少 的 。 混 沌 工程 不 等 于 FIT， 但 混 








沌 工程 通过 FIT 进 行 实验 从 而 理解 系统 弹性 。 


如 图 8-16 所 示 为 分 布 式 系统 中 常见 的 故障 注入 场景 。 





应 用 故障 网 络 故 障 系统 故障 硬件 故障 |， 


系统 重启 | 服务 器 “死机 


CPU、 内 存 、 磁 盘 
区 | 磁盘 不 可 用 ] 
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不 正常 关闭 连接 DNS 解析 异常 
































图 8-16 分布 式 系统 中 常见 的 故障 注入 场景 


8.5.3 ”混沌 工程 平台 与 工具 


目前 越 来 越 多 的 公司 逐渐 开始 实践 混沌 工程 ， 也 推出 了 不 少 支持 
FIT 的 测试 工具 ， 其 中 包括 一 些 优 秀 的 开源 工具 。 


戴尔 云 管理 团队 开发 的 开源 工具 Blockade， 用 来 测试 分 布 式 系统 的 
网 络 故 障 和 分 区 。 它 通过 在 Docker 的 答 主 机 网 络 省 理 中 创建 各 种 异 第 场 
景 ， 包 括 在 容器 间 创 建 分 区 、 控 制 容器 数据 丢 包 ， 以 及 容器 网 络 延 迟 注 
入 ， 影 响 在 Docker 容 器 中 运行 的 应 用 ， 并 且 在 故障 注入 测试 时 进行 系统 


监控 。 





ChaosBlade 是 阿里 巴巴 开源 的 一 款 混沌 工程 测试 工具 ， 提 供 基 础 资 


源 、 应 用 服务 和 云 原 生 服务 等 多 维度 的 故障 模拟 能 力 ， 其 文 持 的 故障 场 
景 如 图 8-17 所 示 。 








CPU 负 载 、 内 存 占用 、 网 络 延 迟 / 丢 包 阻塞 、 杀 进程 、 
宕 机 、 重 启 、 磁 盘 填 充 、IO Hang、IO burn 
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语言 本 身 动态 脚本 能 力 ， 内 存 溢出 ， 进 程 CPU 负载 ， 
| 指定 类 和 方法 做 延迟 、 异常 .修改 返回 值 、 修 
chaosblade- 同 基础 资源 改 参 
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图 8-17 ”ChaosBlade 支 持 的 故障 场景 


ChaosBlade 能 够 在 几 个 方面 帮助 提升 分 布 式 系 统 的 可 恢复 性 和 对 故 
隐 的 容错 性 ， 包 括 衡 量 微服 务 的 容错 能 力 ， 验 证 容 咽 编排 配置 是 否 合 
理 、 测 试 PaaS 层 是 否 健壮 ， 以 及 验证 监控 告警 的 准确 性 和 时 效 性 等 。 





除 文 持 FIT 的 测试 工具 以 外 ， 混 沌 工程 的 实验 管理 还 需要 一 个 自动 
化 平台 ， 可 以 实现 实验 的 自动 创建 、 运 行 ， 以 及 运行 过 程 中 的 自动 监控 
和 结果 分 析 ， 并 自动 结束 实验 。 这 不 但 提升 了 混沌 工程 实验 的 效率 ， 实 
现 了 无 人 值守 ， 而 且 提 升 了 实验 的 安全 性 。 毕 葛 在 生产 环境 中 进行 实 
验 ， 控 制 故障 发 生 时 的 影响 范围 ， 避 免 对 业务 产生 重大 影 啊 是 重 中 之 














Chaos Mesh 是 PingCAP 公 司 开源 的 一 蒜 云 原生 的 混沌 工程 实验 平 
人 台 ， 用 于 在 Kubernetes 集 群 环境 中 进行 故障 注入 测试 。 它 包括 两 个 核心 
模块 : 一 个 是 Chaos Operator， 是 对 混沌 工程 实验 进行 编排 的 核心 组 
件 ， 另 一 个 是 Chaos Dashboard， 是 对 实验 进行 管理 、 设 计 和 监控 的 Web 
界面 。 














混沌 工程 目 动 化 平台 《ChAP) ， 可 以 上 自动 控制 实验 节点 和 非 实验 
节点 的 流量 配 比 ， 通 过 比 对 实验 节点 和 非 实验 节点 的 指标 检 训 实验 的 影 
啊 。 该 平台 还 引入 了 断路 器 以 避免 发 生 服务 之 间 的 级 联 故障 。 同 时 ， 当 
被 监控 的 指标 偏离 预期 时 ， 可 以 自动 终止 实验 。 而 且 该 平台 实现 了 实验 
之 间 的 隔离 ， 可 以 在 一 个 环境 中 并 行 运行 多 个 实验 。ChApP 文 持 与 持续 
交付 工具 Spinnaker 的 集成 ， 这 样 就 可 以 在 每 次 发 布 新 的 微服 务 厂 本 时 目 
动 运行 混沌 工程 实验 。 














8.5.4 混沌 工程 的 具体 实施 


混沌 工程 的 实验 建立 在 科学 的 场景 设计 ， 有 效 、 实 时 的 系统 状态 监 
控 ， 以 及 高 度 目 动 化 的 基础 上 ， 具 体 实施 时 应 遵循 以 下 原则 。 


1) 建立 一 个 围 经 稳定 状态 行为 的 假设 。 通 过 能 够 反映 客户 满意 度 
的 业务 指标 来 描述 系统 的 稳定 状态 。 例 如 ， 假 设 当 系 统 的 一 组 节点 出 现 
故障 不 能 工作 时 ， 所 有 的 服务 仍然 能 正常 运行 。 衡 量 服 务 正常 运行 的 业 
务 指标 可 以 是 每 秒 处 理 的 订单 数 。 建 立 假设 的 目的 是 为 了 在 混沌 工程 试 





验 中 通过 指标 的 变化 观测 故障 注入 融 来 的 影响 。Netflix 采 用 的 业务 指标 
为 视频 每 秒 开 始 播 放 数 (starts per second，SPS) ， 这 个 指标 可 以 反映 
用 户 参 与 度 和 业务 状况 。 





2) 在 实验 中 引入 多 样 的 真实 世界 的 事件 。 引 入 真实 发 生 过 的 各 种 
故障 ， 利 用 真实 事件 来 评估 系统 的 弹性 能 力 古 混沌 工程 的 原则 之 一 。 这 
些 故障 有 业务 系统 本 喘 的 ， 还 有 文 撑 业务 系统 的 各 种 基础 设施 的 故障 。 
我 们 还 需要 根据 故障 在 真实 环境 中 发 生 的 概率 和 影 啊 程 度 ， 同 时 结合 
障 引 入 的 风险 评估 来 确定 故障 注入 的 优先 级 。 例 如 ， 优 先 考 虑 那些 实施 
成 本 和 复杂 度 低 ， 且 发 生 概率 高 的 故障 ， 或 者 虽然 成 本 高 、 难 度 大 ， 但 
一 旦 发 生 将 可 能 对 用 户 影响 巨大 的 故障 。 














3) 在 生产 环境 中 进行 实验 。 在 与 生产 环境 越 近 的 地 方 进行 实验 越 
好 ， 最 好 是 直接 在 生产 环境 中 进行 实验 ， 以 保证 实验 的 有 效 性 。 但 是 设 
计 好 的 实验 场景 有 必要 先 在 开 友 /测试 和 类 生产 环境 中 进行 验证 ， 然 后 
移 到 生产 环境 中 进行 ， 否 则 会 带 来 很 大 的 业务 风险 。 对 于 非 生产 环境 中 
的 实验 ， 可 以 采用 影子 测试 的 技术 ， 录 制 并 回放 生产 环境 中 的 真实 流 
量 ， 来 验证 实验 场景 和 工具 的 可 靠 性 。 











4) 持续 自动 化 运行 实验 。 将 自动 化 实验 平台 和 故障 注入 的 测试 工 
具 与 DevOps 环 境 进行 集成 ， 当 某 个 微服 务 发 布 了 新 的 版 本 ， 就 会 自动 
触发 实验 ， 评 估 每 次 改动 对 系统 弹性 的 影响 。 


5) 注入 的 故障 所 影响 的 范围 最 小 化 。 混 沌 工程 的 实验 通过 故障 注 
入 的 方式 找 出 系统 的 薄弱 环节 ， 但 关键 的 一 点 是 要 避免 实验 过 程 中 引发 





不 受 控 的 故障 。 因 此 ， 实 验 需要 建立 在 科学 的 评估 和 受 控 的 基础 之 上 ， 
当 计 划 注 入 菏 些 故障 时 ， 就 应 当 们 算 故障 发 生 的 频率 和 影响 范围 ， 并 采 
用 递 进 的 方式 ， 逐 渐 扩 大 所 影响 的 范围 。 例 如 ， 一 开始 的 实验 可 以 设计 
成 只 把 5% 的 流量 分 流 到 实验 节点 ， 观 察 这 些 流量 的 影响 ， 然 后 逐渐 在 
后 续 的 实验 中 扩大 流量 。 














基于 上 述 原 则 ， 混 沌 工程 的 具体 实施 步骤 可 以 参考 亚马逊 官方 博客 
中 介绍 的 实践 流程 ， 如 图 8-18 所 示 。 


进行 混沌 实验 的 次 数 济 沙 线 wy SR 基因 可 生生 二 
越 多 ， 获 得 的 价值 越 高 pg 集成 ( 迁 代 )y 和 潜在 影响 


ed 
问题 追踪 LT 
口 


合适 的 业务 观测 指标 是 
观测 指标 实验 成 功 的 关键 
设 


实验 结果 
分 析 





环境 设计 时 让 
最 人 化 实验 场景 的 “爆炸 ”半径 


环境 清理 与 


实验 执 4 实验 工具 
实验 执行 平台 框架 


SEE ch 
人 全 时 中 学 习 的 越 名。 Wew 实 只 计划 4 这 


图 8-18 ”混沌 工程 的 实践 流程 〈 来 自 亚 马 逊 官方 博客 ) 








8.5.5 ”为 系统 弹性 做 好 设计 


正如 前 面 所 说 ， 目 前 越 来 越 多 的 公司 看 到 了 混沌 工程 的 价值 ， 因 此 
开始 在 非 生产 环 境 或 生产 环境 中 进行 实践 。 一 些 公司 在 此 基础 上 推出 
了 “失败 即 服 务 ”(failure as a service) 或 者 “弹性 即 服 务 ” (resilience as a 
service) 的 商业 服务 。 作 为 提高 系统 弹性 的 一 种 手段 ， 我 们 在 肯定 和 提 
倡 这 种 实验 方法 的 同时 ， 也 应 该 对 它 有 一 个 客观 的 认识 。 既 要 看 到 它 的 








价值 ， 又 需要 思考 它 的 局 限 性 。 其 局 限 性 体现 在 以 下 几 个 方面 。 








。 混沌 工程 是 系统 上 线 后 的 实验 ， 故 障 模式 是 根据 过 去 发 生 的 故障 人 
为 设计 的 ， 无 法 注入 从 未 出 现 过 的 故障 。 





。 混沌 工程 实验 是 面 问 一 个 集成 后 的 复杂 系统 ， 系 统 内 部 及 外 部 都 存 
在 非常 复杂 的 依赖 天 系 ， 即 使 发 现 了 系统 的 薄弱 环节 ， 修 复 起 来 也 
会 变 得 非常 困难 。 


。 通过 混沌 工程 发 现 缺陷 并 对 系统 的 某 一 方面 进行 优化 可 能 会 增加 其 
他 方面 的 脆弱 性 。 这 束 像 修复 一 个 缺陷 可 能 会 引入 新 的 缺陷 。 


。 在 以 优雅 的 、 目 动 的 方式 注入 故障 的 同时 ， 给 系统 增加 了 新 的 复杂 
性 ， 更 多 的 实验 可 能 给 系统 剖 来 更 深 的 “伤害 ”。 





混沌 工程 的 意义 不 仅仅 是 让 系统 潜在 的 故障 在 受 控 的 情况 下 提前 骏 
露 ， 更 重要 的 是 从 中 可 以 学 习 如 何 为 分 布 式 系统 进行 更 好 的 高 可 用 性 和 
弹性 设计 。 提 高 系统 弹性 的 关键 不 在 于 针对 失败 的 可 能 进行 实验 ， 而 在 
于 针对 失败 的 可 能 设计 系统 ， 从 而 有 效 地 避免 缺陷 的 友 生 。 











对 于 微服 务 染 构 下 分 布 式 系统 的 可 用 性 和 弹性 来 说 ， 与 其 他 质量 属 
性 一 样 ， 质 量 内 建 的 思想 同样 适用 。 同 样 需要 在 研发 阶段 从 需求 和 设计 
开始 抓 起 ， 并 且 在 编码 阶段 实践 防御 式 编程 并 遵循 提 蜗 代码 可 徘 性 的 质 
量 标准 ， 尽 量 避 免 可 用 性 和 弹性 方面 的 缺陷 。 


1) 需求 是 源头 ， 在 需求 中 要 明确 对 于 系统 的 可 用 性 和 弹性 的 质量 
要 求 ， 并 实践 ATDD， 让 可 用 性 和 弹性 需求 具备 可 测试 性 。 


2) 在 设计 阶段 坚持 为 质量 而 设计 ， 充 分 考虑 在 微服 务 架构 和 云 环 
境 中 提高 系统 弹性 的 设计 方案 。 


系统 架构 要 简单 、 清 晰 ， 并 且 具 备 水 平 扩展 能 力 ， 避 免 在 设计 中 引 
入 不 必要 的 复杂 度 和 依赖 关系 。 





提高 系统 可 用 性 的 有 效 措施 是 增加 元 余 设 计 : 为 了 避免 单 点 故障 ， 
将 系统 部 车 到 多 个 服务 器 集群 ， 每 个 集群 最 好 分 布 在 不 同 的 物理 位 置 。 
当 所 有 系统 集群 正常 工作 时 ， 可 以 通过 负载 均衡 器 将 业务 流量 分 配 到 不 
同 的 集群 中 。 当 一 个 集群 发 生 故 了 时 ， 由 其 他 的 集群 承担 所 有 的 请 求 。 


采用 多 种 微服 务 高 可 用 性 设计 模式 ， 提 高 系统 容错 以 及 故障 转移 、 
恢复 能 力 ， 避 免 微服 务 级 联 故 障 。 级 联 故 障 指 的 是 因 依赖 关系 引发 的 局 
部 故障 导致 整个 系统 骨 训 。 在 高 并 发 的 场景 中 ， 如 果 某 个 微服 务 发 生 延 
迟 ， 那 么 可 能 很 快 导致 万 有 应 用 资源 被 耗 斥 ， 严 重 时 可 导致 业务 系统 次 
痪 ， 也 称 为 “ 雪 骨 效应 ”。 微 服务 高 可 用 性 设计 模式 包括 服务 见 余 、 服 务 
无 状态 、 寺 等 操作 、 服 务 超时 机 制 、 服 务 限 流 、 服 务 降 级 和 服务 熔断 等 
技术 ， 有 具体 说 明 如 图 8-19 所 示 。 





| 请 求 任何 一 个 服务 实 全 部 会 返 | 











请 求 多 次 | 
， 得 到 向 
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每 个 We 点 的 服务 有 多 个 宛 余 ， 
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限制 服务 的 请 求 景 ， 以 
保证 后 端 服 务 器 处 于 一 
个 安全 的 请 求 半 值 内 
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重 试 之 间 的 延迟 时 间 ， 减 少 
重 坛 的 数量 ， 避 免 网 络 拥塞 









避免 线程 被 长 时 间 占 用 








图 8-19 ”微服 务 高 可 用 性 设计 模式 


3) 在 编写 代码 时 ， 应 遵循 提高 系统 弹性 和 可 和 菲 


性 的 代码 规范 并 坚 
持 进 行 代码 评审 和 自动 的 代码 扫描 ， 


可 参考 信息 与 软件 质量 联盟 
(Consortium for Information & Software Quality，CISQ) 制定 的 可 自动 
审计 的 代码 质量 标准 。 图 8-20 列 举 了 代码 中 的 可 靠 性 漏洞 ， 也 就 是 通用 


缺陷 枚 举 (common weakness enumeration,，CWE) 





缓冲 区 错误 返回 堆栈 变量 地 址 父 类 / 子 类 虚 析 构 函 数 错误 











(CWE-119) (CWE-562) (CWE-1045) 
字符 串 缺少 终止 字符 同步 错误 Wh 化 硬 编 码 的 网 络 资源 配 
(CWE-170) (CWE-662) 数据 (CWE-1051 ) 
未 检 章 返回 值 初始 化 错误 缺少 序列 化 控制 元 素 
( CWE- 252 ) ) (CWE-665 ) (CWE-1066 ) 





































































对 检 出 的 错误 不 做 处 理 资源 操作 错误 序列 化 数据 元 素 错 误 
{ CWE-390 ) (CWE-672) (CWE-1070) 
状态 码 / 返 回 值 错误 数字 类 型 间 转 换 错误 和 点 数 比 较 错 误 
(CWE-394) (CWE-681) ( (CWE- 1077 ) 
资源 关闭 /释放 错误 计算 错误 父 类 无 虚 析 构 函 数 
代码 可 靠 性 (CWE-404) (CWE-682) (CWE-1079) 
漏洞 类 型 [一 区 
对 候选 路 径 的 不 恰当 保护 异常 情况 处 理 错误 类 实例 自 筑 控制 元 素 
(CWE-424 ) (CWE-703 ) (CWE-1082) 
资源 未 清理 不 正确 的 类 型 转换 数据 访问 错误 
(CWE-459 ) (CWE-704) (CWE-1083) 
空 指针 引用 依赖 错误 虚拟 方法 类 无 虚 析 构 函 臻 
(CWE-476 ) (CWE-758) L (CWE-1087 ) 
使 用 错误 的 运算 符 “ 死 ” 锁 远程 资源 无 超时 同步 访问 
(CWE-480 ) (CWE-833) (CWE-1088) 
ss | 
Switch 中 省 略 Break 无 限 循环 指针 项 错误 
(CWE-484 ) (CWE-835) (CWE-1098 ) 
对 象 引用 比较 猪 误 对 未 经 初始 化 资源 的 使 用 
(CWE-595 ) (CWE-908 ) 











在 《代码 大 全 》 这 本 书 中 ， 讨 论 了 防御 式 编程 ， 简 单 来 次 ， 惑 是 在 
编写 代码 时 要 考虑 一 切 可 能 发 生 的 错误 ， 让 你 的 程序 不 会 因为 其 他 程序 
传 入 的 错误 数据 而 被 破坏 。 例 如 ， 在 程序 中 ， 对 于 输入 数据 的 有 效 性 及 
合法 性 进行 检查 ， 保 护 程序 免 遭 非法 数据 的 破坏 。 


4) 通过 “基础 设施 即 代码 ?和 虚拟 化 技术 增强 业务 系统 所 依赖 的 IT 
基础 设施 的 健壮 性 。“ 基 础 设施 即 代 码 ” 采 用 代码 可 重复 、 自 动 的 方式 配 
置 各 类 虚拟 机 、 容 器 及 集群 环境 。 当 有 故障 发 生 时 ， 可 以 快速 且 有 效 地 
从 故障 中 恢复 ， 从 而 在 很 大 程度 上 提高 系统 的 弹性 。 再 进一步 ， 就 是 要 
通过 智能 运 维 帮助 我 们 快速 、 准 确 地 发 现 并 定位 环境 中 的 故障 及 其 根 
因 。 








无 论 是 推广 混沌 工程 还 是 为 提高 系统 弹性 而 设计 ， 最 重要 的 还 是 要 
在 所 在 组 织 内 建立 面 癌 失败 设计 的 技术 文化 。 一 开始 在 需求 和 系统 设计 
阶段 束 考 虑 到 各 种 故障 场景 ， 运 用 各 种 必要 的 拉 术 应 对 可 能 的 故障 ， 并 
且 建 立 从 故障 中 恢复 的 策略 。 推 广 混 沌 工程 的 目的 应 包括 从 故障 中 学 习 
如 何 更 好 地 对 系统 的 高 可 靠 性 和 弹性 进行 设计 。 


8.6 ”智能 运 维 与 测试 


IT 运 维 负责 在 软件 产品 生命 周期 的 各 个 阶段 维护 IT 系统 以 安全 和 稳 
定 的 状态 运行 ， 不 但 负责 业务 系统 上 线 后 的 运行 环境 ， 而 且 负责 研发 阶 
段 中 的 各 种 开 及 、 测 斌 环境， 包括 各 类 基础 设施 《机房 、 网 络 、 服 务 
器 、 虚 拟 机 、 容 器 和 云 平台 等 ) 的 部 普 ， 各 类 软件 应 用 的 维护 及 升级 ， 
以 及 在 生产 环境 中 的 应 用 部 署 、 实 时 监控 和 故障 处 理 等 工作 。 








8.6.1 从 目 动 化 运 维 到 智能 运 维 


早期 的 IT 运 维 主要 面 各 机房、 服务 器 及 业务 系统 的 上 线 部 团 、 监 
控 ， 由 运 维和 人 员 手 工 完成 。 随 着 互联 网 的 迅速 友 展 ， 企 业 所 承担 的 业务 
人 印发 复杂 ， 逐 渐 过 渡 到 依赖 各 种 工具 的 自动 化 运 维 ， 越 来 越 多 的 运 维 操 
作 通 过 编写 的 脚本 自动 、 重 复 执行 ， 因 此 运 维 效 率 得 到 很 大 提升 。 而 最 

近 几 年 由 于 虚拟 化 技术 和 DevOps 的 兴起 ， 逐 渐 发 展 出 一 套 完 整 的 
DevOps 工 具 链 ,促进 了 自动 化 运 维 的 进一步 友 展 。 这 其 中 具有 代表 性 
的 工具 是 支持 “基础 设施 即 代码 Oe ; od 的 上 自动 化 DevOps 
平台 、 日 志 分 析 系 统 ， 以 及 性 能 、 安 全 监控 平台 

















虽然 自动 化 运 维 在 很 大 程度 上 提高 了 运 维 效率 ， 以 及 业务 系统 的 可 
用 性 ， 但 是 人 印发 复杂 的 大 型 分 布 式 系统 在 生产 环境 中 的 各 种 故障 越 来 越 
难以 预测 和 人 避免。 虽然 目 动 化 运 维 中 的 各 种 监控 工具 使 得 系统 运行 状态 
的 可 见 度 有 较 大 提升 ， 但 是 当 遇 到 运 维 故 障 时 ， 面 对 海量 监控 数据 和 庞 
大 复杂 的 系统 ， 我 们 仍然 依赖 运 维 人 员 迅 速 做 出 运 维 决策 ， 这 显然 是 巨 
大 的 挑战 。 








而 智能 运 维 (AIOps) 通过 人 工 智能 赋 能 相当 于 给 开 运 维系 统 配 置 
了 一 个 “大 脑 ”， 通 过 在 线 监控 收集 到 各 种 数据 ， 结 合 机 器 学 习 算 法 捕捉 
数据 中 的 异常 并 快速 进行 降 噪 处理 、 故 障 定 位 ， 并 且 实 现 故 障 的 实时 处 
理 和 修复 。 因 此 ， 相 对 于 自动 化 运 维 ,智能 运 维 在 各 种 运 维 场景 中 进 一 
步 实现 了 目 动 决策 ， 通 过 海量 的 数据 利用 算法 来 训练 机 器 识别 和 分 析 故 
障 的 能 力 ， 进 行 目 动 、 准 确 的 判断 。 








智能 运 维 主要 围绕 3 个 方面 展开 : 质量 保障 、 成 本 管理 和 效率 提升 
〈 见 图 8-21) 。 成 本 管理 方面 的 应 用 场景 包括 资源 优化 、 容 量规 划 和 性 
能 优化 ， 如 对 现 有 业务 情况 进行 分 析 ， 预 测 未 来 所 圾 要 的 资源 使 用 情 
况 ， 并 且 实 现 免 干预 的 扩容 / 缩 容 。 质 量 保障 方面 的 基本 应 用 场景 包括 
异 钊 检测、 智能 告警 、 根 因 分 析 、 故 障 预 调和 故障 目 愈 等 。 











下 聚 类 算法 : k 近 邻 分 类 算法 、 贝 叶 斯 分 类 
/ 器 、 支 持 向 量 机 ( SVM ) 和 随机 森林 


神经 网 络 ， 长 短期 记忆 网 络 。 
( LSTM ) 和 卷 积 神经 网 络 


一 :一 
Sp 人 一 Aprioni 算 法 和 FP 了 
对 网 各 独 
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图 8-21 智能 运 维 系统 





智能 运 维 的 本 质 是 数据 加 算法 结合 实现 的 运 维 服务 ， 因 此 首先 需要 
对 生产 环境 中 海量 的 各 类 实时 数据 进行 床 集 ， 经 过 聚合 或 关联 处 理 生成 
的 数据 存储 到 后 端的 时 序数 据 库 中 。 海 量 及 多 种 数据 来 源 的 数据 是 智能 
运 维 的 基础 ， 如 IT 系统 数据 、 网 络 通信 数据 和 服务 调用 链 数 据 等 。 





8.6.2 ”智能 运 维 的 典型 场景 


目 动 化 测试 离 不 开 强 大 的 代 基 础 设施 的 支持 ， 在 研发 阶段 ， 智 能 运 


维 能 够 提供 更 加 可 靠 的 持 乡 ee oe 


运 维 服务 。 在 生产 环境 中 ， 智能 的 异常 检 训 以 及 故障 定位 和 目 愈 ， 
实现 线 上 测试 的 智能 化 。 


下 面 列 举 一 些 在 质量 保障 方面 智能 运 维 可 以 实现 的 典型 场景 。 


。 异 贡 检测 : 通过 机 需 学 习 代 和 葵 传 统 的 基于 规则 设 定 国 值 的 方案 ， 从 
时 间 序 列 类 型 的 数据 指标 中 发 现 与 大 部 分 对 象 不 同 的 离 群 对 象 ， 即 





异常 波动 。 异 种 检测 为 随后 的 告警 、 根 因 分 析 和 故障 告警 压缩 等 捉 
供 决 全 依据。 寞 第 检测 的 有 效 性 可 以 通过 异常 检测 准确 紊 和 报警 时 
效 性 等 指标 来 衡量 。 


故障 智能 告警 ， 可 以 实现 对 告警 事件 的 收 盆 和 聚合 ， 通 过 将 告警 
合成 关联 事件 减少 告警 事件 和 故障 误 报 。 自 动 恢复 策略 就 是 将 告警 
和 相应 的 干预 手段 联合 起 来 ， 根 据 告警 触发 一 些 干 预 动作 ， 如 自动 
扩容 、 系 统 重启 和 服务 降级 等 ， 这 样 可 以 直接 消除 告警 ， 减 少 人 工 
干预 





故障 根 因 分 析 : 也 可 以 称 为 故障 定位 。 通 过 关联 规则 、 决 策 树 等 算 
法 对 检测 到 的 开 币 指标 进行 分 机 ， 快 速 、 准 确 地 定位 引起 故障 的 根 
因 点 。 传 统 的 故障 定位 技术 需要 较 多 的 人 工 参与 和 根据 经 验 进 行 判 
断 ， 如 对 告警 事件 进行 分 析 、 查 看 监控 面板 的 指标 ， 以 及 对 日 志 进 
行 检查 和 分 析 等 。 而 AIOps 通 过 事件 关联 和 日 志 分 析 可 以 自动 发 现 
故障 告警 之 间 的 关联 ， 快 速 、 准 确 地 定位 到 故障 根 因 。 例 如 ， 关 联 
规则 是 一 种 无 监督 学 习 的 机 器 学 习 算 法 ， 用 于 发 现 事 件 、 错 误 和 千 
警 数据 之 间 的 强 规则 。 当 一 个 故障 发 生 时 ， 用 关联 规则 可 以 判断 是 
独立 的 告警 事件 ， 还 是 关联 的 告警 事件 ， 如 告警 事件 A 是 否 必 然 会 
引发 告警 事件 B， 从 而 确定 故障 根 因 。 根 因 分 析 的 有 效 性 可 以 用 故 
障 定 位 时 间 、 线 上 事故 禾 盖 率 等 指标 来 衡量 。 知 能 水 平 较 高 的 
AIOps 系 统 可 以 达到 秘 级 的 故障 定位 能 力 ， 以 及 95% 以 上 的 线 上 事 
故 绑 兰 率 。 








。 故障 预测 : 通过 对 IT 历史 数据 和 历史 告警 信息 的 分 机， 人工 智能 算 


法 生成 故障 出 现 前 的 数据 模型 ， 用 于 预测 未 来 一 段 时 间 内 发 生 共 类 
故障 的 概率 ， 从 而 可 以 提前 规划 故障 处 理 的 窗口 ， 避 免 对 业务 的 影 
啊 。 目 前 相对 成 熟 的 故障 预测 是 通过 神经 网 络 算法 或 文 持 癌 量 机 
(SVM) 算法 对 磁盘 故 隐 进行 预测 。 











智能 运 维 的 落地 会 受到 算法 本 身 的 成 熟 度 、 数 据 量 、 算 法 与 业务 领 
域 结合 的 深度 等 因素 的 影响 ， 在 未 来 还 有 很 大 的 提升 空间 ， 但 不 可 人 否认 
的 是 ， 从 目 动 化 运 维 问 智能 运 维 的 迈进 一 定 可 以 提高 系统 质量 、 降 低 运 
维 成 本 和 提升 效率 。 另 外 ， 智 能 运 维 在 数据 张 动 业务 方面 能 够 帮助 企业 
实现 本 质 的 提升 ， 因 此 是 企业 进行 数字 化 转型 的 必 备 能 








本 章 小 结 


测试 左 移 从 需求 开始 ， 在 研发 早期 介入 业务 需求 的 协作 和 评审 ， 以 
业务 驱动 测试 ， 测 试 右 移 通过 在 线 测 试 及 在 线 监 控 获 取 在 真实 环境 中 的 
测试 数据 和 系统 状态 ， 再 输入 至 下 一 个 软件 版 本 的 需求 中 ， 由 此 形成 一 
个 闭环 ， 充 分 体现 了 敏捷 测试 在 软件 生命 周期 中 每 一 阶段 的 价值 。 








在 线 监控 系统 是 保障 业务 系统 正常 运行 的 基础 ， 包 括 对 3 种 数据 类 
型 的 监控 : 日 志 、 调 用 链 和 系统 指标 。 监 控 系 统 也 为 线 上 测试 “保驾 扩 
航 ” 并 且 收 集 需 要 的 测试 数据 。 通 过 人 人 工 智能 为 监控 系统 赋 能 ， 可 以 实 
现 智能 的 故障 诊断 和 故障 上 自 愈 ， 并 且 可 以 通过 预测 系统 运行 状况 ， 实 现 
系统 的 弹性 扩容 和 缩 容 ， 以 及 故障 预警 。 


目前 的 测试 右 移 不 是 仅仅 满足 于 在 线 系 统 安全 和 性 能 方面 的 监控 ， 








而 是 已 经 发 展 到 实 实在 在 的 生产 环境 中 的 测试 ， 包 括 性 能 测试 、 易 用 性 
测试 、 混 沌 工程 实验 和 验收 测试 。 





测试 及 全 链 路 压 测 帮助 互联 网 企业 在 流量 
， 并 且 可 以 更 为 精准 地 做 好 容量 规划 。 


。 人 性 能 测试 : 通过 在 线性 
高 峰 到 来 前 验证 系统 性 


全 已 
月 忆 
全 已 
月 忆 


易 用 性 测试 : 通过 AB 测 试 可 以 帮助 企业 提升 产品 的 用 户 体验 ， 从 
而 实现 经 营 目 标 。 








混沌 工程 实验 : 在 受 控 的 情况 下 ， 提 前 发 现 生产 环 境 中 的 注 弱 环 
节 ， 提 高 系统 的 可 用 性 。 但 可 用 性 的 提高 不 能 完全 依赖 混沌 工程 ， 
更 为 重要 的 是 为 系统 弹性 做 好 设计 。 











验收 测试 : 灰 度 发 布 就 是 一 个 例子 ， 让 用 户 真 正 完成 对 系统 的 验 
收 。 


线 上 测试 的 目的 也 不 仅仅 满足 于 解决 研发 阶段 中 测试 不 充分 的 问 
题 ， 或 者 发 现 只 能 在 真实 环境 中 才能 暴露 的 缺陷 。 利 用 线 上 监控 和 测试 
收集 用 户 数 据 ， 为 企业 实现 数字 化 转型 和 以 数据 驱动 业务 的 战略 目标 而 
服务 ， 则 体现 了 测试 右 移 的 更 大 价值 。 


不 过 ， 虽 然 测 试 右 移 也 很 有 价值 ， 可 以 降低 研发 成 本 ， 让 产品 更 快 
上 线 ,， 但 总 体 来 说 ， 测 试 右 移 的 价值 要 低 于 测试 左 移 ， 因 为 敏捷 测试 更 
注重 尽早 开始 测试 ， 预 防 缺 陷 比 发 现 缺陷 更 有 意义 。 在 线 监控 和 线 上 测 
试 属于 补救 措施 ， 不 能 把 全 部 的 软件 测试 进行 “ 右 移 "”， 我 们 应 该 更 提倡 
测试 左 移 和 持续 测试 ， 切 切实 实在 产品 需求 分 析 阶 段 和 设计 阶段 做 好 质 





量 内 建 ， 降 低 缺 陷 的 产生 和 修复 的 成 本 。 
延伸 阅读 


《 反 脆 弱 : 从 不 确定 性 中 获 益 》 和 《混乱 : 如 何 成 为 失控 时 代 的 掌 
控 者 》 这 两 本 书 不 但 可 以 帮助 我 们 理解 混沌 工程 的 理论 和 实践 ， 而 且 更 
有 助 于 理解 和 积极 面 对 我 们 号 处 的 世界 和 这 个 VUCA 的 时 代 。 系 统 越 复 
杂 ， 就 会 越 脆 弱 。 但 脆弱 的 反面 从 来 不 是 让 系统 变 得 更 健壮 ， 而 是 更 有 
弹性 。《 反 脆弱 : 从 不 确定 性 中 获 瘟 》 这 本 书 告诉 我 们 在 不 确定 的 世界 
中 的 生存 法 则 ， 学 会 如 何 打造 反 脆 弱 的 系统 ， 从 混乱 和 不 确定 中 受益 。 
《混乱 ;如何 成 为 失控 时 代 的 掌控 者 》 这 本 书 告诉 我 们 ， 泥 乱 让 人 更 有 
创意 ， 而 且 能 够 提高 我 们 的 应 变 能 力 ， 只 有 拥抱 不 确定 性 ， 并 学 会 如 何 
正确 地 应 对 它 ， 让 混乱 为 我 所 用 ， 才 能 成 为 真正 的 掌控 者 。 





第 9 草 ”敏捷 测试 的 收尾 与 改进 


9.1.1 如 何 评估 敏捷 测试 过 程 
9.1.2 敏捷 测试 过 程 的 度量 体系 
9.1.3 测试 工作 质量 的 分 析 
9.1.4 代码 覆盖 率 
9.1.5 功能 禾 盖 率 
9.1.6 业务 覆盖 率 
9.1.7 基于 缺陷 分 析 测 试 质量 

































9.1 如 何 分 析 测试 结果 和 评估 测试 工作 的 质量 








9.2.1 测试 管理 系统 
9.2.2 需求 与 测试 用 例 的 映射 关系 ， 以 及 测试 
用 例 与 缺陷 的 映射 关系 


9.2.3 示例 : Jira+Zephyr 实 现 可 追溯 性 
9.2.4 测试 与 质量 度量 的 可 视 化 
9.2.5 质量 雷达 图 









9.2 如 何 获得 良好 的 可 追溯 性 、 可 视 化 














第 9 章 “敏捷 测试 的 

收尾 与 改进 9.3.1 微软 的 优秀 实践 
9.3.2 谷歌 的 优秀 实践 
9.3.3 亚马逊 的 优秀 实践 
9.3.4 ThoughtWorks 的 优秀 实践 
9.3.5 腾讯 的 优秀 实践 
\、9.3.6 阿里 巴巴 的 优秀 实践 






9.3 敏捷 测试 优秀 实践 














9.4.1 敏捷 过 程 的 反思 







9.4.2 敏捷 测试 过 程 的 改进 分 析 
9.4.3 数据 驱动 改进 

9.4.4 PDCA 循环 
9.4.5 根 因 分 析 





9.4 敏捷 过 程 的 反思 与 持续 改进 








敏捷 测试 中 的 收尾 是 针对 即将 交付 的 这 一 版 软件 来 说 的 。 在 收尾 工 
作 中 ， 对 测试 过 程 的 质量 和 效率 进行 定性 和 定量 的 评估 ， 目 的 是 为 下 一 
个 版 本 做 好 准备 ， 即 如 何 做 得 更 快 、 更 好 。 妆 然 ， 测 试 工作 的 改进 不 能 
只 是 在 收尾 环节 进行 ， 团 队 需 要 在 实践 中 不 断 地 反思 和 总 结 ， 通 过 一 些 
质量 工具 持续 地 收集 反馈， 改进 测试 过 程 。 











9.1 ”如何 分 析 测试 结果 和 评估 测试 工作 的 质量 





软件 测试 中 每 一 项 测试 活动 都 会 产生 测试 结果 ， 通 过 测试 结果 来 评 
估 产 品 的 质量 体现 了 测试 的 目的 和 价值 。 而 通过 测试 结果 评估 测试 工作 
本 二 的 质量 也 非常 重要 ， 这 样 做 能 让 我 们 及 时 发 现 测 试 中 存在 的 问题 ， 
并 及 时 改正 ， 这 是 测试 工作 进行 持续 改进 的 基础 。 








相 比 传统 的 软件 测试 ， 敏 捷 测 试 更 强调 持续 改进 ， 根 据 上 下 文 不 断 
调整 测试 流程 、 技 术 和 工作 方法 ， 因 此 更 需要 在 研发 过 程 中 对 产品 质 
量 、 训 试 质量 提供 持续 反 饿 ， 而 不 仅仅 是 根据 软件 发 布 后 的 用 户 / 市 场 
反馈 来 评估 分 析 。 








9.1.1 如何 评估 敏捷 测试 过 程 


传统 的 测试 过 程 比较 好 理解 ， 测 试 的 分 析 、 计 划 、 设 计 、 执 行 是 分 
阶段 按 顺 序 开展 的 ， 测 试 过 程 的 评估 和 管理 残 是 针对 这 几 个 测试 阶段 展 
开 的 。 敏 捷 测 试 仍 然 需要 过 程 管 理 ， 因 为 民 好 的 过 程 才 能 产生 民 好 的 测 
试 结 素 和 质量 ， 但 与 传统 测试 过 程 相 比 ， 敏 捷 测 试 需要 考虑 以 下 不 同 的 
几 点 。 


首先 ， 为 了 适应 变化 和 改进 的 需要 ， 在 一 次 欠 代 中 的 测试 分 析 、 训 
试 计划 、 测 斌 设计 和 调试 执行 并 不 是 按照 顺序 分 阶段 进行 的 ， 而 是 交 答 
循环 进行 ， 可 以 把 它们 看 作 相 对 独立 的 测试 活动 ， 前 面 几 个 模块 也 大 体 
上 是 对 上 述 各 项 活动 分 别 讲解 的 ， 因 此 可 以 针对 每 项 测试 活动 进行 评 





佑 。 因 为 每 项 活动 是 持续 进行 的 ， 所 以 敏捷 测试 过 程 的 评估 是 针对 测试 
过 程 进行 持续 的 评估 。 


其 次 ， 敏 捷 测 试 中 具体 的 测试 项 包括 : 需求 设计 和 代码 评审 、 单 元 
测试 、BVT、 目 动 化 回归 测试 和 新 功能 的 探索 式 测 试 ， 也 包括 性 能 测 
试 、 安 全 测试 等 专项 测试 。 在 评估 体系 中 ， 应 根据 每 项 测试 的 特点 建 并 
各 目的 评估 标准 ， 如 需求 评审 的 窗 盖 率 和 缺陷 发 现 紊 ， 探 索 式 测试 可 以 
从 测试 的 充分 性 、 有 效 性 ， 以 及 测试 效率 等 方面 进行 评 佑 。 目 动 化 回归 
测试 可 以 评估 目 动 化 测试 在 总 的 测试 中 所 占 的 比重 。 单 元 测试 应 重点 关 
注 代 码 缆 凋 率 和 脚本 质量 。 





再 次 ， 在 传统 的 软件 测试 中 ， 会 安排 专门 的 测试 过 程 评审 ， 定 期 或 
不 定期 地 针对 茶 个 测试 阶段 或 系 项 测试 活动 进行 评审 。 评 审 的 目的 是 了 
解 测 试 过 程 是 否 存在 问题 ， 以 及 测试 是 否 达 到 了 测试 目标 等 。 敏 捷 测 试 
也 应 该 有 过 程 评 审 ， 但 敏捷 测试 作为 敏捷 开发 的 一 部 分 ， 对 测试 过 程 的 
评估 应 该 结合 敏捷 开发 流程 开展 。 











在 Scrum 流 程 中 ， 在 每 个 迭代 结束 前 安排 迭代 评审 ， 检 查 DoD 中 的 
每 一 项 任务 是 否 已 经 完成 ，DoD 中 的 每 一 项 儿 乎 部 与 菜 项 测试 活动 有 
天， 如 新 增 代 码 要 通过 代码 评审 、 单 元 测试 禾 兰 率 达 到 80% 以 上 和 需求 
履 兰 率 达 到 1009% 和 等。 那么， 在 达 代 评审 中 ， 就 是 根据 每 项 测试 活动 的 
结果 进行 检查 ， 如 果 没 有 达标 ， 残 应 该 分 析 原 因 ， 这 也 相当 于 通过 分 析 
测试 结果 对 测试 过 程 进行 评审 。 














每 次 迭代 结束 后 的 反思 会 〈retrospective ) 更 适合 对 测试 过 程 进行 一 


个 阶段 性 的 评估 ， 这 时 一 个 完整 的 迭代 已 经 结束 ， 通 过 收集 、 分 析 这 个 
阶段 的 测试 结果 发 现在 今后 的 迭代 中 哪些 方面 需要 改进 。 


测试 过 程 的 评估 有 定性 和 定量 两 种 方式 。 定 性 的 评估 是 把 计划 的 测 
试 活动 和 实际 执行 的 活动 进行 比较 ， 了 解 测 试 计划 执行 的 情况 和 效果 ， 
如 在 SBTM 中 调整 了 多 少 个 新 会 话 、 调 整 的 比重 、 哪 些 没 有 执行 、 哪 些 
是 计划 外 的 会 话 ， 以 及 原因 是 什么 。 另 外 ， 还 可 以 通过 收集 团队 成 员 的 
直接 反馈， 通过 了 解 测 试 实际 执行 情况 发 现 问题 并 且 分 析 原 因 。 这 里 会 
用 到 收集 反馈 、 根 因 分 析 和 测试 成 熟 度 评估 等 方法 。 








但 是 ， 过 程 管理 不 能 仅 赁 定性 管理 ， 定 量 管理 是 更 好 的 管理 方式 ， 
通过 数字 来 反映 真实 情况 更 加 及 时 、 客 观 和 明确 。 再 进一步 ， 结 合 可 视 
化 的 测试 结果 和 质量 的 呈现 工具 ， 不 需要 正式 的 过 程 评 审 ， 团 队 岂 外 随 
时 可 以 了 解 当前 测试 和 质量 的 状态 ， 真 正 做 到 持续 评价 、 持 续 改 进 和 持 
续 控 制 。 








下 面 就 仔细 谈 谈 如 何 进行 量化 评估 一 一 度量 体系 。 


9.1.2 ”敏捷 测试 过 程 的 度量 体系 





对 测试 过 程 实现 定量 管理 需要 建立 一 套 系统 的 度量 指标 体系 。 不 同 
的 产品 、 不 同 的 研发 团队 需要 建立 的 度量 体系 是 不 一 样 的 ， 这 里 以 通 冰 
的 商业 应 用 软件 系统 为 例 来 进行 讲解 。 








需要 度量 哪些 方面 ? 测试 质量 和 测试 效率 是 需要 度量 的 两 个 基本 的 


目标 。 团 队 可 以 梳理 出 一 些 能 直接 或 间接 反映 质量 和 效率 的 指标 。 


。 测 试 质量 直接 的 度量 指标 包括 测试 覆盖 率 和 遗漏 的 缺陷 率 等 。 





。 测试 效率 的 直接 度量 指标 包括 : 每 人 每 日 设计 多 少 用 例 / 执 行 多 少 
用 例 、 上 自动 化 测试 紊 ， 以 及 缺陷 验证 周期 等 。 间 接 的 测试 质量 度量 
指标 可 以 是 度量 测试 环境 的 稳定 性 和 可 靠 性 等 。 





从 理论 上 来 说 ， 可 以 用 来 度量 测试 质量 和 测试 效率 的 指标 有 很 多 ， 
如 果 所 有 的 指标 都 进行 度量 ， 那 么 不 仅 分 析 的 工作 量 大 ， 也 容易 让 过 程 
管理 失去 重点 。 团 队 应 该 根据 自身 情况 选择 合适 的 度量 指标 ， 
导 思 想 是 ， 看 重 什么 ， 就 度量 什么 ， 想 提高 什么 ， 就 度量 什么 。 这 也 符 
合 敏 捷 思 维 。 








如 何 避 免 陷入 度量 的 误区 ? 在 建立 的 度量 体系 中 ， 虽 然 应 该 有 重 
点 、 有 取舍， 但 也 要 保证 测试 过 程 动态 、 平 衡 地 进行 发 展 。 对 于 测试 质 
量 和 测试 效率 ， 它 们 具有 一 定 的 独立 性 ， 但 也 会 相互 影响 ， 既 相互 促 

进 ， 又 相互 制约 。 








一 方面 ， 训 试 的 质量 高 ， 一 次 就 把 事情 做 对 ， 会 促进 测试 效率 的 提 
; 反 过 来 ， 高 效 赋 了 予 测试 更 多 时 间 进 行 更 充分 的 测试 ， 测 斌 质量 必然 
会 提高 ， 而 低 效 往往 会 减少 测试 时 间 ， 给 测试 质量 带 来 更 大 的 风险 。 男 
一 方面 ， 如 果 一 味 地 退 求 快 ， 只 跟踪 测试 效率 相关 的 指标 ， 如 每 人 每 日 
执行 多 少 测试 用 例 和 测试 自动 化 紊 等， 则 很 可 能 会 顾此失彼 ， 导 致 测试 
质量 出 现 问 题 ， 如 发 现 的 缺陷 数量 不 多 ， 但 上 线 后 问题 多 和 用 户 反 馈 不 
佳 等 。 








也 








如 何 体现 对 过 程 的 度量 ? 在 敏捷 测试 中 ， 对 过 程 的 上 度量 更 应 该 保 
持 持 续 性 :每 次 迭代 从 开始 到 结束 、 每 个 要 交付 的 版 本 ， 以 及 产品 的 整 
个 生命 周期 ， 随 时 发 现 问 题 ， 并 解决 问题 。 而 且 ， 在 迭代 之 间 、 版 本 之 
间 比 较 它们 的 测试 质量 和 测试 效率 ， 通 过 度量 的 持续 性 和 可 视 化 获得 测 
试 改进 的 持续 性 和 可 视 化 。 








另外 ， 测 试 过 程 的 度量 还 应 包括 产品 质量 的 度量 ， 因 为 产品 质量 和 
测试 的 质量 也 恩 轧 相关 ， 前 一 个 版 本 的 测试 质量 不 好 ， 就 会 影响 当前 版 
本 的 产品 质量 。 











综 上 所 述 ， 一 个 敏捷 测试 过 程 的 度量 体系 如 图 9-1 所 示 ， 从 测试 质 
量 、 测 试 效率 和 产品 质量 3 个 方面 进行 度量 ， 履 兰 了 测试 设计 、 测 试 执 
行 和 缺陷 报告 等 重要 活动 。 测 试 计 划 和 分 析 的 质量 会 体现 在 测试 覆 兰 率 
和 缺陷 相关 的 度量 指标 中 ;而 测试 计划 和 分 析 在 敏捷 测试 中 本 来 束 力 求 
简单 、 有 效 ， 因 此 没有 考虑 对 其 进行 效率 方面 的 度量 。 


代码 覆盖 率 
测试 用 例 | 功能 医 差 率 
业务 覆盖 率 
需求 /设计 /代码 评审 
bug 数 /页 需求 质量 缺陷 发 现 率 “| 单元 测试 
bua 数 /用 户 故事 设计 质量 | 探索 式 测试 
bug 数 / 干 代码 行 代码 质量 | 质 与 真实 环境 差异 项 ( 加 权 计算 ) 




















髓 水 30 半 
岂 潭 潜 党 


bug 数 /页 用 户 文档 质量 | 测试 环境 | 可 靠 性 ( 平均 失效 时 间 ) 
可 用 性 = ( 可 执行 用 例 数 /计划 用 
| 法 ) > op 
脚本 行 数 /人 /日 测试 设计 A WW) 10% 
测试 自动 化 率 | 缺陷 误 报 率 
bug 六 人 日 | 测 # 扫 行 | 天 上 线 质量 ”缺陷 漏 报 率 
用 例 数 /人 唱 斌 
效 
reopen 素 
次 数 


bug 验 证 上 | 缺陷 处 理 与 跟踪 
周期 


图 9-1 敏捷 测试 过 程 的 度量 体系 





9.1.3 测试 工作 质量 的 分 析 


测试 活动 有 两 个 重要 的 输出 : 一 个 是 测试 用 例 〈 包 括 测试 脚本 ) ， 
另 一 个 是 测试 中 发 现 的 缺陷 。 通 过 图 9-1 可 以 看 出 ， 训 试 质量 的 度量 指 
标 大 多 数 是 根据 这 两 项 内 容 制 定 的 。 度 量 指标 对 测试 工作 质量 的 量化 分 
析 提 供 了 基础 。 因 此 可 以 说 ， 测 试 工 作 的 质量 主要 是 通过 对 测试 结果 的 
分 析 来 评估 的 。 根 据 测 试 结 果 计 算 每 一 个 度量 指标 ， 通 过 度量 指标 分 
析 ， 发 现 测试 过 程 中 的 质量 问题 ， 在 此 基础 上 不 断 改 进 、 完 善 。 











下 面 就 从 测试 用 例 和 人 缺陷 两 个 方面 来 介绍 如 何 分 析 测 试 工作 的 质 
: 基于 测试 缆 凋 率 分 机 和 基于 缺陷 分 析 。 


可 


评价 测试 质量 的 好 坏 首先 要 分 析 测 试 结果 是 否 达 到 了 既定 的 测试 目 
标 。 测 试 目标 是 测试 计划 中 最 重要 的 内 容 之 一 ， 一 般 会 用 测试 履 盖 率 来 
衡量 测试 目标 的 实现 。 测 试 履 盖 率 是 对 测试 充分 性 的 量化 指标 ， 是 指 已 
执行 测试 履 盖 的 数据 和 事先 要 求 的 目标 之 间 的 比值 ， 趋 向 于 或 达到 
100%， 说 明 窗 盖 率 足 够 高 。 我 们 通常 从 3 个 方面 来 衡量 :代码 窗 盖 率 、 
功能 覆盖 率 和 业务 履 盖 率 。 


9.1.4 ”代码 覆盖 率 
代码 覆盖 率 是 代码 级 测试 的 衡量 指标 ， 在 测试 中 借助 测试 覆盖 率 分 


分 
析 工 具 统计 测试 脚本 对 被 测 对 象 代码 的 语句 、 路 径 或 条 件 的 罗 兰 率 。 最 
常用 的 是 语句 履 兰 率 ， 即 实际 执行 的 代码 行 数 与 总 的 代码 行 数 的 比值 。 


语句 履 盖 率 上 度量 公式 如 下 所 示 。 


测试 用 例 代 码 履 盖 率 = 运行 TC 履 盖 的 LOC 数 /OUT 的 总 LOC 数 





也 可 以 用 分 支 履 盖 率 衡量 ， 度 量 公 式 如 下 所 示 。 
测试 用 例 分 支 履 盖 率 = 运行 TC 覆 盖 的 BOC 数 /OUT 的 总 BOC 数 


在 上 述 度 量 公 式 中 ， 测 试用 例 用 TC (test case) 表示 ; 被 测 对 象 用 
OUT (object under test) 表示 ， 含 被 测 系统 、 被 测 单元 /组 件 /类 等 ; 代 
码 行 用 LOC (〈line of code) 表示 ; 分支 用 BOC (branch of code) 表示 。 


以 JaCoCo 工 具 为 例 ， 可 以 逐 层 显 示 每 个 软件 包 、 类 、 方 法 的 (代码 
行 、 分 支 等 ) 测试 覆盖 率 ， 如 图 9-2 和 图 9-3 所 示 。 如 果 代 码 覆 盖 率 没有 
达到 测试 计划 中 的 既定 目标 ， 那 么 需要 分 析 古 哪些 模块 没有 达到 ， 以 及 
团队 中 应 该 由 谁 负责 补充 相应 的 测试 脚本 。 





Element Missed Instructions> Cov.s Missed Branches ; Cov.®s Missed: Cxty®s Missed® Liness Missed®s Methods® Missed® Classes 
名 org'jacoco.examples 加 58% i 64% 24 53 97 193 19 38 6 12 
Borg'jacoco.agent.rt = 84% 豆 88% 27 17 49 296 19 72 7 20 
Borg,jacoco.core Es 98% es 95% 60 1151 56 2,703 13 639 0 116 
加 jacoco-maven-plugin 至 90% 一 80% 36 185 42 405 8 12 0 19 
@org,jacoco.cll 二 97% 下 100% 4 109 10 275 四 74 0 20 
小 org,jacoco.report 一 一 一 99% ms 99% 3 549 1 1304 0 367 0 64 
Worg,jacoco.ant 至 98% 可 99% 4 163 8 428 3 11 0 19 
Oorg,jacoco.agent 86% 75% 2 10 3 27 0 6 0 1 
Total 1,012 of 24,283 95% ”101of1773 94% 160 2,337 266 5,631 66 1419 13 271 


图 9-2 ”软件 包 的 测试 履 盖 率 列表 


TryWithResourcesEcjFilter.Matcher 


nt Missed Instructionss Cov.s Missed Branches ; Cov.s Missed® Cxtys Missed Lines® Misseds Methods 

© nextlsClosefString) 二 一 一 83% Ee 64% 5 8 5 8 0 1 
© nextlsLabel(String) = 80% Bs 66% 2 4 3 nn 0 1 
matchEcj(} Bs 00% Bs 75% 3 7 2 33 0 1 
matchFcjoFlowOutf) 一 一 一 969% ”ER 7A% 3 a 2 28 0 1 
extlsJumpl(int, String) 一 9% ms 83% 1 4 1 10 0 1 
nextlsEcjSuppressfString) 一 一 一 一 100% ”至 100% 0 2 0 8 0 1 
neaxtlsEciCloseAndThrow( String) 一 100% 一 100% 0 2 0 7 0 1 
nextlsEcjClosefString) 三 100% = 100% 0 2 0 4 0 1 
Start{(AbstractinsnNode)} = 100% ma 0 1 0 6 0 1 

© IrvWithResourcesEcjFiter Matcher{IFilteroutput) 吾 100% n/a 0 1 0 5 0 1 
Total 29 of 560 94% 1of58 75% 14 39 13 140 0 10 


图 9-3 ”类 的 测试 履 盖 率 列 表 
会 已 5 > 
9.1.5 ”功能 禾 着 率 


对 于 功能 测试 ， 可 以 用 功能 窗 新 率 来 衡量 测试 质量 ， 用 大 的 功能 特 
性 来 衡量 覆 新 紊 没 有 音义， 因为 一 个 功能 特性 会 对 应 几 十 、 上 百 个 测试 
用 例 ， 可 以 从 被 测 系 统 的 功能 结构 出 发 将 功能 分 解 为 子 功能 、 子 子 功 
能 ， 最 后 分 解 成 一 个 个 的 功能 点 〈function point，FP) 。 功 能 点 和 测试 
用 例 之 间 应 该 有 对 应 关系 ， 呈 现 出 层次 结构 。 因 此 ， 应 该 用 功能 点 的 测 
试 履 盖 率 来 衡量 并 分 析 功 能 测试 的 质量 。 





功能 履 盖 率 的 度量 公式 如 下 所 示 。 


功能 覆盖 率 = 运 行 TC 履 盖 的 FP 数 /OUT 的 总 FP 数 


第 7 章 介 绍 过 如 何 从 业务 需求 出 发 设计 测试 用 例 ， 在 引入 BDD 的 情 
况 下 ， 从 业务 需求 到 功能 特性 、 用 户 故 事 和 场景 ， 最 后 到 测试 用 例 的 逐 
步 分 解 。 从 顶端 的 业务 需求 来 度量 测试 履 盖 率 没有 实际 意义 ， 因 为 粒度 
太 粗 ， 一 个 业务 需求 可 能 对 应 几 百 个 ， 甚 至 几 干 个 测试 用 例 。 但 如 果 用 
场景 害 荔 率 来 衡量 ， 每 个 用 户 场 景 对 应 儿 个 测试 用 例 ， 测 试 履 盖 率 的 衡 
量 就 有 价值 和 可 操作 性 。 如 果 没 有 引入 BDD， 那 么 业务 窗 盖 率 束 需要 根 
据 业 务 流 程 图 的 路 径 履 瘟 率 来 度量 。 


























基于 用 户 场景 的 业务 履 兰 率 的 度量 公式 如 下 所 示 。 


测试 场景 覆盖 率 -= 测试 执行 已 覆盖 的 场景 数 /需要 测试 的 场景 数 
9.1.7 ”基于 缺陷 分 析 测 试 质量 


缺陷 作为 测试 活动 的 为 一 项 重要 输出 ， 也 可 以 作为 评估 测试 质量 的 
旨 标 ， 包 括 缺 陷 在 测试 活动 中 的 误 报 率 、 缺 陷 的 遗漏 率 。 
缺陷 的 误 报 率 的 度量 公式 如 下 。 


缺陷 的 误 报 率 = 无 效 的 bug 数 /所 报告 的 总 bug 数 





通常 情况 下 ， 缺 陷 的 误 报 率 应 该 控制 在 5% 一 10%。 无 效 的 bug 数 越 
多 ， 研 发 团队 在 处 理 分 析 这 类 bug 上 花 约 的 时 间 就 越 多 ， 这 会 挤 压 处 理 
有 效 缺 陷 以 及 开发 活动 和 测试 活动 的 时 间 ， 目 然 需要 控制 其 数量 。 但 
是 ， 误 报 的 原因 一 般 比 较 复 杂 ， 有 时 与 团队 采用 的 缺陷 报告 策略 有 关 ， 
如 敏捷 开发 中 新 功能 的 测试 往往 是 在 需求 不 太 明 确 的 情况 下 进行 的 。 在 
遇 到 这 类 问题 时 ， 即 往往 测试 人 员 拿 不 准 是 不 是 缺陷 的 时 候 ， 一 般 是 先 
澄清 需求 再 决定 是 否 报告 缺 隐 ， 还 是 先 报告 缺陷 再 去 澄清 需求 ? 是 的 ， 








另外 ， 缺 陷 的 误 报 率 是 不 是 越 低 越 好 ? 误 报 率 的 目标 定 得 越 低 ， 测 
试 人 员 报 告 缺 陷 束 越 齐 慎 ， 用 在 分 析 和 复 现 上 的 时 间 就 越 多 ， 这 会 在 一 
定 程度 上 牺牲 效率 ， 并 且 可 能 遗漏 真正 有 效 的 缺陷 。 


缺陷 的 遗漏 率 的 度量 公式 如 下 。 
缺陷 的 遗漏 率 = 交付 后 发 现 的 bug 数 /总 bug 数 


在 交付 后 ， 用 户 发 现 的 缺陷 值得 我 们 分 析 ， 也 就 是 分 析 什 么 原因 导 
致 在 研发 过 程 中 没有 发 现 这 些 缺 陷 。 如 果 是 因为 产品 的 业务 需求 没有 用 
盖 到 ， 则 需要 产品 负 贡 人 考虑 是 否 在 下 一 版 加 到 业务 需求 中 ， 如 对 茶 个 
操作 系统 的 茶 个 新 版 本 的 支持 。 如 果 是 因为 测试 质量 的 问题 ， 那 么 要 看 
问题 出 在 什么 环 市 (是 测试 分 析 、 测 斌 设计， 还 是 测试 执行 ， 是 人 的 问 
题 ， 还 是 工具 的 问题 )》， 然 后 有 针对 性 地 改进 ， 如 添加 测试 用 例 ， 加 强 
人 员 技 能 培训 ， 或 者 改进 测试 工具 。 














9.2 如何 获 得 民 好 的 可 追溯 性 、 可 视 化 











实现 量化 管理 不 但 要 有 度量 体系 ， 而 且 要 实现 度量 指标 的 可 视 化 ， 
对 于 产品 质量 的 评估 也 是 如 此 ， 这 就 离 不 开 一 个 数据 统计 、 数 据 分 析 的 


呈现 平台 。 








测试 用 例 和 缺陷 需要 测试 管理 系统 进行 跟踪 管理 。 在 此 基础 上 ， 实 
现 三 者 之 间 的 可 追 调 性 ， 这 样 能 更 容易 解决 需求 变更 、 回 归 测 试 范围 确 
定 、 质 量 评估 等 一 系列 重要 问题 。 


下 面 首先 介绍 测试 管理 系统 。 


9.2.1 测试 管理 系统 


在 训 试 管理 系统 中 ， 管 理 的 核心 是 测试 用 例 和 缺陷 。 测 试管 理 系统 
的 构成 如 图 9-4 所 示 。 





+ | ~ “测试 套件 管理 测试 任务 - \ 
ee A A 缺陷 跟踪 
测 过 让 划 | 一 -| 

测试 用 例 管理 ~ ”缺陷 生命 周期 
1 | A 
YY 0 
ER ER ae 测试 结果 
Er 














图 9-4 测试 管理 系统 的 构成 示意 图 








敏捷 测试 中 的 测试 用 例 包 括 两 部 分 : 一 部 分 是 手工 测试 用 例 ， 为 一 
部 分 是 可 以 转化 为 目 动 化 测试 脚本 的 测试 用 例 。 对 于 探索 式 测 试 ， 虽 然 
从 粒度 上 来 说 ， 一 个 会 话 可 以 分 解 成 十 几 个 普通 测试 用 例 ， 但 从 管理 的 
角度 来 说 ， 可 以 把 每 个 会 话 章程 内 容 (场景 /测试 点 列表 〉 放 入 测试 管 
理 系统 中 。 因 此 ， 下 面 的 讨论 中 提 到 的 测试 用 例 是 指 SBTM 章 程 和 目 动 
化 测试 脚本 。 





。 测试 套件 (test suite， 也 称 测 试 集 ) 是 测试 用 例 的 组 合 ， 而 测试 数 
据 、 测 试 环境 配置 等 可 以 看 作 测 试用 例 的 组 成 内 容 ， 测 试 执行 的 结 
果 就 是 测试 用 例 在 不 同 环境 中 运行 的 记录 。 在 探索 式 测试 中 ， 测 试 
套件 对 应 SBTM 的 子 目 标 或 会 话 。 


。 缺陷 是 测试 进度 跟踪 、 质 量 评 佑 等 工作 中 所 需要 的 重要 依据 。 缺 陷 
管理 指 的 是 如 何 更 好 地 跟踪 缺陷 状态 ， 以 及 如 何 针 对 缺陷 记录 进行 
各 类 统计 分 析 和 趋势 预测 等 。 





优秀 的 汕 试管 理 系统 对 测试 用 例 的 管理 可 以 解决 以 下 这 些 问题 。 
。 如 何 设 计 、 构 造 灵 活 的 测试 套件 ? 

。 如 何 有 效 执行 测试 计划 中 所 要 求 的 测试 用 例 ? 

。 如 何 跟 踩 测试 执行 的 结果 ? 


9.2.2 ”需求 与 测试 用 例 的 映射 关系 ， 以 及 测试 用 
例 与 缺陷 的 映射 天 系 


在 训 试管 理 系统 中 ， 其 中 很 重要 的 一 个 功能 就 是 在 测试 用 例 和 缺陷 
之 间 建 立 必 要 的 映射 关系 〈 见 图 9-5) ， 即 将 两 者 完全 地 关联 起 来 。 建 
立 这 种 映射 关系 的 目的 是 建立 测试 用 例 和 所 发 现 的 缺陷 之 间 的 可 妃 蛮 
人 
。 在 训 试 管理 系统 里 指出 一 个 缺陷 ， 丈 知道 是 由 哪个 汕 试用 例 发 现 
的 ， 如 果 没 有 对 应 的 测试 用 例 ， 则 应 该 退 加 相关 的 测试 用 例 。 
。 可 以 列 出 任何 一 个 测试 用 例 所 发 现 的 缺陷 情况 ， 据 此 得 知 哪些 测试 


用 例 发 现 较 多 的 缺陷 ， 以 及 哪些 测试 用 例 从 来 没有 发 现 缺 陷 ， 能 够 
发 现 缺陷 的 测评 用例 当 然 更 有 价值 ， 应 该 优先 执行 。 





不 仅 如 此 ， 测 试管 理 系 统 还 应 支持 需求 《在 传统 中 往往 是 功能 特 
性 ) 与 测试 用 例 之 间 的 映射 关系 ， 如 图 9-5 所 示 。 在 敏捷 开发 中 ， 这 是 
指 Epic、 用 户 故 事 与 测 试用 例 之 间 的 映射 。 一 个 用 户 故 事 需 要 1 个 或 几 


个 会 话 来 履 凋 ， 转 化 成 测试 脚本 ， 数 量 更 多 ， 因 此 一 个 用 己 故 事 会 映射 
多 个 测试 用 例 。 需 求 变更 在 敏捷 开发 中 更 加 频繁 ， 借 助 这 种 映射 天 系 和 
可 退 溯 性， 可 以 解决 需求 变化 所 带 来 的 下 列 问题 。 





。 需求 变化 会 影响 哪些 功能 点 ? 


功能 点 发 生变 化 ， 需 要 修改 哪些 测试 用 例 ? 


产品 的 茶 个 特性 或 共 个 功能 点 存在 的 缺 隐 有 哪些 ?其 质量 水 平 如 
何 ? 


如 琳 一 个 缺陷 是 由 于 设计 、 需 求 定义 引起 的 ， 那 么 如 何 退 溯 到 原来 
的 需求 上 去 解决 ? 


通过 对 缺陷 的 分 析 ， 如 何 进 一 步 改 进 设 计 和 提高 需求 定义 的 准确 
性 ? 


需求 测试 用 例 缺陷 


iestcasello0 
rserStioyt = SS 


a “~ Test Case 1002 站 Defect 1500101 
EPICA 
Xe = Test Case 1003 _r Defect 1500102 
~ UserStiory2 < | 
mi 





图 9-5 ”需求 与 测试 用 例 之 间 的 映射 关系 ， 以 及 测试 用 例 与 缺陷 之 间 的 映射 关系 图 
在 测试 管理 工具 中 ， 测 试用 例 的 执行 状态 需要 测试 人 员 手 动 更 新 。 


对 于 有 对 应 上 自动 化 测试 脚本 的 测试 用 例 ， 理 想 的 状态 是 可 以 把 目 动 化 测 
试 执 行 的 结果 目 动 同步 到 测试 管理 系统 ， 测 试用 例 的 执行 结果 是 目 动 更 





新 的 。 这 可 以 通过 测试 管理 工具 和 测试 目 动 化 工具 的 集成 来 实现 ， 也 可 
以 通过 测试 管理 工具 和 持续 集成 调度 工具 的 集成 来 实现 。 





9.2.3 示例: Jira+Zephyr 实 现 可 追溯 性 


有 的 公司 开发 了 目 己 的 测试 管理 系统 ， 可 以 实现 在 一 个 系统 里 建立 
需求 与 测试 用 例 之 间 的 映射 和 关系， 以 及 汕 试用 例 与 缺陷 之 间 的 映射 天 
系 。 如 果 选 用 的 是 商用 的 测试 管理 工具 ， 那 么 需求 、 测 试用 例 和 缺陷 的 
管理 往往 是 分 开 的 ， 如 采用 Jira 进 行 需求 和 缺陷 的 管理 ， 同 时 采用 其 他 
的 测试 用 例 管理 工具 。 这 里 以 Jira 和 Zephyr 的 集成 为 例 讲述 如 何 实现 需 
求 、 测 试用 例 和 缺陷 这 三 者 之 间 的 可 退 淹 性。 


Jira 是 文 持 敏捷 开发 的 常用 项 目 管理 工具 ， 围 绕 着 Jira 勾 发 展 出 一 批 
测试 用 例 管理 工具 。Jira 提 供 从 Epic 到 用 户 故 事 的 需求 管理 ， 以 及 缺陷 
跟 踊 。 测 试用 例 管理 工具 与 Jira 的 集成 可 以 实现 需求 与 测试 用 例 之 间 的 
映 冉 关 系 ， 以 及 测试 用 例 与 缺陷 之 间 的 映射 天 系 。 目 前 有 一 些 测试 用 例 
工具 以 插件 的 形式 与 Jira 进 行 集成 ， 如 Zephyr、Xray 等 。 





Zephyr 是 目前 主流 的 测试 用 例 管 理工 具 。Zephyr for Jira 以 插件 形式 
运行 在 Jira 系 统 中 ， 因 此 对 测试 用 例 的 管理 在 Jira 的 管理 界面 里 呈现 ， 可 
以 方便 地 生成 测试 用 例 并 直接 关联 到 Epic 和 用 户 故 事 ， 以 及 缺陷 。 





Zephyr for Jira 可 以 与 多 种 自动 化 测试 工具 集成 ， 将 上 自动 化 测试 的 结 
果 自 动 同步 到 Jira 中 。 可 以 集成 的 自动 化 测试 工具 包括 SoapUI Pro、 


Cucumber for Jira、Selenium、JUnit 和 TestNG 等 。 


另外 ，Jira、Zephyr for Jira 还 可 以 与 持续 集成 调度 工具 Jenkins 集 
成 ， 将 在 持续 集成 环境 中 自动 运行 的 自动 化 测试 的 结果 目 动 同步 到 Jira 
中 ， 如 图 9-6 所 示 。 
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图 9-6 ”Jira 与 Jenkins 集 成 同步 测试 结果 


另外 ，Zephyr 还 提供 了 独立 安装 的 Standalone 版 本 ， 有 单独 的 管 
界面 ， 在 测试 用 例 的 计划 、 执 行 和 报告 方面 ， 用 户 体验 会 更 好 一 些 。 
Zephyr 的 Standalone 版 本 也 可 以 通过 配置 与 Jira 集 成 ， 实 现 需 求 与 测试 用 
例 之 间 的 映射 关系 ， 以 及 测试 用 例 与 缺陷 之 间 的 映射 关系 。 图 9-7 展 示 
了 需求 和 测试 用 例 之 间 的 双 疝 妃 滴 。 图 9-8 展 示 了 如 何在 一 个 失败 的 测 
试用 例 中 关联 缺陷 。 





从 测试 用 例 到 需求 的 追溯 


Test Case ID Name ALID M/A Type W Coverage Priori ty Estimatec CreatedBy 6 ed On At 

276 Email view API suppor. M Original 7 6 Requirementl, 00:00, T Ma... 08/04/ 2. NoA 
279 Email editing allows fo... A Orginal 2 2Requirement(.. Pp2 00:00.. TestMa 08/04/2.. No/ 
277 Email view API suppor. M Original 3 Requirement(. P3 00:00.. Test Ma 08/04/2 NoA 
280 Email editing allows fo M Orginal 3 1Requirement(.. Pp3 00:00.. TestMa.. 08/04/2.. No/ 


从 需求 到 测试 用 例 的 追溯 


Select All Selected:0 1 


Requireme! Name NtID Coverage priorty Unk Mapie 
375 Calendar reminders can be set using multi-touch 2 up. MERCURY-17 3 Testcase(s) Co. Medium https://ryan.y. Map 
378 Emails sort quick button will allow for sort by date-16 MERCURY-16 1 Testcase(s) Co. Medium https://ryan.y. Map 
sample story from support MERCURY-203 Medium https://ryan. Mal 
832 citi MERCURY-350 Medium https://ryan.y. Map 
1013 This is my Requirement MERCURY-422 1Testcasef Co.. Medium https://ryan.y. Map 


图 9-7 ”需求 和 测试 用 例 之 间 的 双向 追溯 
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图 9-8 在 失败 的 测试 用 例 中 关联 缺陷 








9.2.4 测试 与 质量 度量 的 可 视 化 


测试 结果 与 软件 质量 的 度量 结果 以 可 视 化 的 形式 呈现 出 来 非 第 有 意 
义 : 一 方面 可 以 帮助 研发 团队 及 时 掌握 项 目 及 研发 进展 ， 并 友 现 项 目的 
大 贷 及 风险 ， 厘 清关 键 路 笃 ， 集 中 解决 关键 问题 ， 保 证 项 目 得 以 顺利 进 
行 ， 另 一 方面 ， 也 为 高 层 管理 者 和 其 他 团队 提供 了 解 目前 软件 质量 状况 
的 窗口 。 对 当前 状态 有 统一 的 认识 ， 是 进一步 解决 问题 的 基础 。 











如 末 要 实现 多 项 目 、 多 团队 和 多 数据 源 的 测试 数据 的 呈现 ， 那 么 研 
发 团队 可 以 考虑 自己 开发 一 个 数据 呈现 平台 ， 从 测试 管理 系统 、 持 续集 
成 系统 中 得 到 各 种 测试 数据 ， 并 通过 界面 呈现 出 来 ， 也 可 以 借助 一 些 数 
据 统计 与 呈现 工具 打造 综合 的 可 视 化 面板 。 下 面 介 绍 3 种 常用 的 数据 呈 
现 工具 。 








1. 基于 SonarQube 呈 现代 码 质量 


在 第 4 章 介 绍 静态 测试 的 时 候 我 们 提 到 过 ，SonarQube 可 以 作为 代码 
质量 缺陷) 数据 呈现 工具 ， 其 本 号 还 是 一 个 代码 静态 分 析 工 具 ， 另 
外 ， 它 还 可 以 与 多 种 代码 静态 分 析 工 具 集 成 获得 更 丰富 的 代码 扫描 规 
则 。SonarQube 可 以 度量 缺陷 、 安 全 漏洞 、 代 码 “ 坏 味道 ?和 单元 测试 履 
盖 率 ， 其 “Quality Gate” 界 面 如 图 9-9 所 示 。 如 果 达 到 质量 标准 ， 那 么 该 
界面 的 标题 栏 中 会 显示 “Passed”(A 级 ) ; 如 果 达 不 到 质量 需求 ， 那 么 
会 按照 B 级 、C 级 、D 级 或 E 级 列 出 各 种 质量 问题 的 数量 ， 其 中 B 级 对 应 
的 质量 问题 ee 它 还 可 以 把 代码 规模 、 
复 杀 上 度 等 度量 集成 到 一 起 ， 一 个 页 面 统一 呈现 出 来 。 我 们 可 以 单 
击 “BugsK& ie 看 详细 内 容 。 











Quality Gate EB 
Bugs & Vulnerabilities pr ee last 30 days 
6229 46 11 2 
0 Se We 
Code Smells 
258d® 11k 5d 133 
Debt Code Smells New Debt ps 
Coverag 
O 
四 50.8% 1.3k 56.9% 
Coverage Unit Tests 769 ee 








图 9-9 ”SonarQube 工 具 中 的 “Quality Gate” 界 面 


2. 基于 Grafana 和 InfluxDB 呈 现 测试 结果 











除 代 码 质量 度量 信息 的 呈现 以 外 ， 研 发 团队 还 应 考虑 如 何 呈 现 其 他 
测试 结果 ， 提 供给 团队 内 外 成 员 全 面 感知 当前 软件 质量 的 渠道 ， 这 些 测 
试 包括 BVT、 性 能 测试 和 自动 化 回归 测试 等 。 第 4 间 介 绍 了 通过 Grafana 
和 InfluxDB 的 结合 可 以 按照 时 序 呈 现 持续 集成 环境 中 的 自动 化 测试 结 
果 ， 可 以 通过 监控 面板 按照 时 间 顺 序 呈 现 每 次 持续 集成 的 测试 结果 ， 以 
及 自动 化 回归 测试 结果 。 例 如 ，Grafana、InfluxDB 与 JMeter 集 成 可 以 呈 
现 性 能 测试 的 实时 统计 数据 : JMeter 添 加 Backend Listener， 用 于 在 测试 
过 程 中 实时 发 送 统计 指标 数据 给 时 序数 据 库 InfluxDB， 配 置 Grafana 数 据 
源 连 接 到 InfluxDB， 就 可 以 得 到 呈现 实时 测试 数据 的 可 视 化 面板 ， 可 以 
呈现 累计 请 求 数 、 累 计 失 败 的 请 求 数 、 知 吐 量 和 啊 应 时 间 等 信息 。 























3. 基于 Microsoft Power BI 嘻 现 测试 结果 和 缺陷 报告 





Microsoft Power BI 是 一 球 商 业 的 数据 可 视 化 工具 ， 通 过 与 测试 管理 
工具 的 集成 ， 可 以 用 来 打造 呈现 测试 结 素 、 质 量度 量 和 缺陷 报告 等 数据 
的 综合 性 可 视 化 面板 。 如 图 9-10 所 示 ， 在 Microsoft Power BI 中 呈现 了 
Jira 中 的 缺陷 数据 统计 信息 。 

















图 9-10 ”在 Microsoft Power BI 中 呈现 Jira 中 的 缺陷 数据 统计 信息 


9.2.5 ”质量 雷达 图 








有 的 企业 会 开发 一 个 全 局 的 质量 雷达 图 来 显示 企业 中 不 同 级别 部 门 
或 项 目 团队 的 质量 情况 ， 然 后 通过 大 尺寸 触摸 显示 器 呈现 。 如 图 9-11 所 
示 是 一 个 具有 4 级 组 织 架 构 的 企业 的 质量 雷达 图 ， 通 过 这 个 质量 雷达 
图 ， 不 同 部 门 的 管理 者 可 以 从 中 看 到 整体 的 技术 俩 率 值 、 个 体 的 扩 术 债 
率 值 ， 还 能 看 到 个 体 占 整体 的 比重 。 

















环形 面积 表示 代码 占 整 个 组 织 的 比例 ， 面 积 越 大 ， 代 码 行 数 占 比 越 
大 ;环形 颜色 深浅 表示 技术 债 率 等 级 。 同 时 ， 单 击 各 个 局 形 可 以 下 转 到 
各 级 部 门 和 团队 : 


。 最 内 圈 表 示 整 个 组 织 级 的 代码 总 行 数 及 技术 债 率 值 ; 








。 最 内 圈 癌 外 的 第 1 层 环 表示 高 层 部 门 各 自 的 代码 行 数 及 技术 债 率 
值 ; 


。 第 2 层 环 表 示 下 一 级 开发 部 门 各 目的 代码 行 数 及 技术 便 率 值 ; 


。 第 3 层 坏 (最 外 层 坏 ) 表示 各 个 项 目 组 的 代码 行 数 及 技术 便 率 值 。 


人 整个 组 织 级 的 代码 总 行 数 及 技术 债 率 值 










@) 高 层 部 门 各 白 的 代码 行 数 及 技术 债 率 值 


~、@ 下 一 级 开发 部 门 各自 的 代码 行 数 及 技术 债 率 值 


4 各 个 项 目 组 的 代码 行 数 及 技术 债 率 值 


图 9-11 企业 级 的 质量 雷达 图 





9.3 ”敏捷 测试 优秀 实践 


谈 起 敏捷 测试 的 优秀 实践 ， 其 实 我 们 已 经 在 第 3 章 介绍 过 Etsy 公 司 
的 优秀 实践 。 该 公司 建立 了 “代码 即 艺 折 ”(code as craft) 这 样 优秀 的 工 
程 师 文 化 和 质量 内 建文 化 ， 开 发 阶段 的 测试 由 开发 人 员 负 责 ， 但 Etsy 公 
司 拥 有 独立 的 测试 团队 ， 主 要 负 贡 下 列 一 些 工 作 : 





。 针对 新 功能 和 新 产品 进行 探索 式 测试 、 集 成 测试 及 路 平台 的 兼容 性 
测试 ; 


。 针对 移动 端的 及 布 进行 验证 测试 ; 
。 验证 用 户 可 感知 的 改变 。 


本 节 将 介绍 微软 、 谷 歌 、 亚 马 进 、ThoughtWorks、 腾 讯 和 阿里 巴巴 
这 几 家 公司 的 优秀 敏捷 测试 实践 。 


9.3.1 微软 的 优秀 实践 


在 传统 软件 测试 领域 ， 微 软 做 得 很 好 。 不 少 读者 看 过 《微软 的 软件 
测试 之 道 》 这 本 书 ， 该 书 由 微软 公司 的 3 位 专业 的 测试 人 员 撰 写 ， 分享 
了 被 该 公司 测试 工程 师 所 应 用 和 使 用 的 最 佳 实践 、 测 试 工具 和 测试 系 
统 。 在 软件 测试 项 峰 的 时 候 ， 该 公司 一 些 团 队 的 开发 人 员 与 测试 人 员 数 
量 的 比例 是 1 : 2， 没 错 ， 测 试 人 员 比 开发 人 员 多 。 在 移动 互联 的 今天 ， 
微软 也 没有 台 负 大 家 的 期 望 ， 最 近 几 年 软件 研发 团队 转型 很 成 功 。 








相对 来 说 ， 微 软 公 司 接触 敏捷 的 时 间 比 较 晚 。 笔 者 在 2008 年 参加 微 
软 举办 的 软件 研发 高 峰 论 坛 时 ， 微 软 还 是 在 谈 及 每 日 构建 、 每 日 集成 ， 
还 没有 提 及 持续 集成 和 敏捷 。 直 到 2011 年 7 月 ， 微 软 公司 副 总 裁 布 莱 恩 . 
哈里 才 正 式 宣 布 : 微软 郑重 承 话 开始 全 面 实施 敏捷 。 这 种 对 敏捷 的 承 话 
是 由 商业 需求 驱动 的 ， 也 就 是 为 了 让 企业 具有 更 高 的 活力 、 竞 争 力 和 生 
命 力 ， 必 须 改变 过 去 每 隔 几 年 才 交 付 一 个 新 的 软件 版 本 的 状况 ， 为 此 ， 
微软 别 无 选择 ， 只 能 选择 敏捷 。2014 年 ， 微 软 大 刀 阔 逢 地 进行 了 组 织 变 
革 ， 除 在 操作 系统 团队 保留 了 300 名 左右 的 专职 的 测试 人 员 以 外 ， 其 他 
多 名 专职 的 测试 人 员 中 的 80% 将 原来 的 专职 的 测试 人 员 头 衔 统 一 改 为 软 





件 工 程 师 ， 即 融入 整个 敏捷 团队 中 ， 他 们 既 做 测试 ， 又 做 开发 或 运 维 。 


2015 年 10 月 27 日 和 29 日 ， 史 带 夫 . 丹 宁 连续 发 表 了 两 篇 文章 : 《和 慰 
奇 : 微软 是 敏捷 的 》 (“Surprise: Microsoft Is Agile”) 和 《微软 实现 大 规 
模 敏捷 的 16 个 关键 点 》 (“Microsoft’s 16 Keys To Being Agile At 
Scale”) ， 对 微软 实施 敏捷 进行 肯定 。 在 第 一 篇 文章 中 ， 丹 宁 提 到 自己 
的 习惯 性 认识 被 三 履 了， 之 前 他 认为 像 微 软 这 样 拥 有 十 几 万 员工 的 大 公 
司 ， 束 像 一 舟 航 空 母 舰 那样 很 难 掉 头 ， 变 革 困 难 ， 前 进 的 速度 很 慢 ， 难 
以 快速 交付 产品 。 另 外 ，Scrum 创 始 人 之 一 肯 : 施 瓦 们 在 其 博客 中 也 曾 质 
疑 像 微 软 这 样 的 大 公司 是 否 能 够 从 官僚 主义 体制 中 解放 出 来 。 





但 在 丹 宁 走 进 微软 公司 之 后 ， 他 感到 惊奇 ， 原 来 公司 已 被 成 功 改造 
成 无 数 个 小 团队 ， 航 空 母 舰 似 的 “大 部 队 *” 被 分 解 成 “乘坐 快 诅 的 快速 反 
应 部 队 ”。 微 软 的 做 法 实现 了 今天 我 们 熟悉 的 多 管 着 快速 友 布 的 机 制 ， 
发 布 周期 从 过 去 的 几 年 到 现在 的 几 周 。 


微软 的 这 段 “旅程 >， 并 不 是 那么 顺利 ， 而 是 跌宕 起 伏 ， 其 间 做 对 了 
一 些 事情 ， 也 做 错 了 一 些 事情 ， 经 历 了 阵痛 ， 但 最 终 还 是 成 功 了 ， 这 也 
从 微软 的 股票 市 值 上 得 到 了 验证 。 微 软 的 一 些 优秀 的 实践 ， 可 以 概括 为 
永远 用 最 优秀 的 工程 师 和 最 优秀 的 工程 实践 ， 包 括 下 列 几 点 。 





。 一体 化 的 工程 系统 (one engineering system，1ES) 团队 是 微软 的 
Cloud + AI Platform 部 门 的 一 部 分 ， 以 帮助 改善 设计 和 研发 人 员 的 
工程 经 验 ， 包 括 提 升 内 部 源 代码 的 质量 ， 以 及 产品 和 服务 的 可 访问 
性 、 安 全 性 和 合 规 性 ， 类 似 华为 2012 实 验 室 之 下 的 研发 能 力 提 升 中 





心 。 


推行 积极 的 “自我 托管 ”(self-hosting) 文化 ， 一 方面 ， 确 保本 地 团 
队 运 行 目 己 的 构建 并 解决 发 现 的 任何 问题 ， 另 一 方面 ， 公 司 内 部 首 
先 部 普 公 司 开发 的 最 新 内 部 版 本 ， 及 时 发 现 缺陷 。 


专注 于 为 客户 提供 价值 ， 特 别 强 调 回 用户 交付 价值 ， 即 按照 对 客户 
的 影响 决定 积压 工作 的 优先 级 ， 并 建立 客户 反馈 系统 〈customer 
feedback system) ， 了 解 系统 运行 状况 、 可 用 性 、 性 能 及 服务 质量 
等 质量 指标 ， 更 好 地 了 解 用 户 使 用 系统 的 情况 ， 形 成 产品 完整 的 闭 
环 ， 从 而 持续 地 改进 产品 ， 提 升 用 户 体验 。 








测试 即 服务 (test as a service，TaaS) 。 测 试 不 但 为 研发 提供 服 
务 ， 而 且 为 运 维 提供 服务 ， 主 动 发 现 性 能 方面 的 异常 ， 并 判断 造成 
这 种 情况 的 原因 ， 消 除 产 生 各 种 问题 的 根源 。 只 有 做 好 测试 服务 ， 
才能 更 好 地 保证 产品 质量 。 


强大 的 基础 设施 。 微 软 公 司 逐 步 将 IT 系统 全 部 迁移 至 微软 的 公有 云 
Azure， 同 时 在 内 部 全 面 推行 Azure DevOps 平 台 作 为 统一 的 DevOps 
工具 链 ， 以 及 构建 数据 驱动 质量 (data-driven quality，DDQ ) 平 


人 
| 


9.3.2 ”谷歌 的 优秀 实践 





谷歌 和 微软 在 实践 方面 有 许多 的 相同 点 ， 包 括 只 招聘 项 尖 的 人 才 、 








构建 强大 的 基础 设施 、 内 部 尝鲜 、 金 丝 从 发布 ( 灰 度 发 布 ) 和 不 断 提高 
迭代 速度 等 。 在 更 早 的 时 候 ， 谷 歌 就 去 卸 了 SET (software engineer in 
test) 这 个 角色 ， 将 测试 团队 转化 为 工程 效率 (engineering 
productivity) 团队 ， 为 整个 软件 研发 提供 上 自动 化 测试 技术 和 工具 文 持 。 





这 里 侧重 讨论 谷歌 的 两 大 实践 ， 整 洁 的 代码 和 又 快 又 好 的 测试 


(1) 整洁 的 代码 


整洁 的 代码 要 求 代 码 遵 守 代码 规范 。 之 前 许多 公司 的 C++/Java 语 言 
规范 是 参照 谷歌 的 代码 规范 的 。 在 谷歌 内 部 ， 诸 如 库 、 程 序 和 测试 这 些 
构建 实体 ， 均 由 高 级 的 声明 式 构 建 规范 ( declaration build standard， 
DBS) 进行 声明 ， 描 述 具 体 的 每 一 个 实体 ， 如 实体 的 名 称 、 源 文件 、 相 
关 的 库 文件 或 所 依赖 的 其 他 实体 。 构 建文 件 可 以 自动 生成 和 更 新 ， 并 确 
保 构 建 系统 通过 分 析 构 建文 件 而 不 是 源 文件 来 快速 地 确定 依赖 关系 ， 并 
以 此 避免 了 构建 系统 和 编译 器 ， 或 者 用 于 文 撑 其 他 编程 语言 的 分 析 工 具 
之 间 的 过 度 耘 合 。 





所 有 源 代码 主 库 的 变更 都 必须 经 过 除 作者 外 至 少 一 名 以 上 的 工程 师 
审查 ， 每 一 个 项 目 都 要 开 代码 评审 会 ， 如 傈 发 现 一 个 错误 ， 通 弟 会 奶 踪 
到 引入 此 项 错误 的 变更 和 原 代 码 的 评审 意见 ， 并 指出 问题 在 哪里 ， 以 便 
让 原始 作者 和 评审 人 员 都 了 解 问题 所 在 ， 而 且 开 发 了 优秀 的 基于 Web 的 
代码 评审 工具 。 整 个 评审 流程 严谨 且 高 效 。 在 谷歌 的 团队 中 ， 定 期 扫描 
各 个 组 件 中 未 关闭 的 bug 是 比较 常见 的 ， 团 队 会 优先 关注 这 些 bug 并 合理 
地 将 它们 分 配给 相应 的 工程 师 。 








(2) 叉 快 义 好 的 测试 


又 快 又 好 的 测试 强调 任何 单个 测试 超过 60s 就 没有 价值 ， 测 试 执行 
越 快 越 有 价值 ， 每 天 执行 近 1 亿 个 测试 用 例 。 





单元 测试 是 谷歌 公司 非常 提倡 和 广泛 采用 的 工程 实践 。 产 品 线 上 所 
有 的 代码 都 要 求 进行 单元 测试 ， 如 果 新 添加 的 源 文 件 没 有 进行 相应 的 测 
试 ， 那 么 代码 审核 工具 会 将 它们 突显 出 来 。 


所 有 的 构建 都 需要 经 过 测试 。 如 果 测 试 失败 ， 则 几 分 钟 内 系统 就 能 
目 动 通知 作者 及 其 评审 人 员 ， 从 而 添加 新 的 变更 ， 新 的 变更 会 再 次 合并 
到 新 版 本 分 文 ， 再 重新 构建 和 重新 测试 。 和 直到 测试 全 部 通过 后 ， 将 构建 
好 的 可 执行 文件 和 数据 文件 一 起 打包 。 由 于 这 些 步 又 是 目 动 执 行 的 ， 
此 发 布 工程 师 只 需要 运行 一 些 简单 的 命令 就 能 完成 及 布 。 











集成 测试 和 回归 测试 也 得 到 了 广泛 应 用 。 一 旦 候选 版 本 已 经 完成 打 
包 ， 则 通常 部 普 到 staging 服 务 器 上 ， 进 一 步 完 成 集成 测试 ， 而 且 采 用 先 
进 的 技术 和 高 效 的 策略 来 完成 测试 。 例 如 ， 从 产品 线 上 发 送 一 份 请 求 找 
贝 到 staging 服 务 器 ， 即 采用 真实 的 数据 请 求 完 成 测试 。 上 自动 化 系统 频繁 
地 运行 测试 ， 只 要 有 代码 改动 ， 就 进行 回归 测试 ， 从 而 迅速 而 准确 地 检 
汕 到 问题 。 











2018 年 ， 谷 歌 更 是 推出 了 一 款 全 新 的 持续 集成 /持续 交付 工具 ， 即 
Google Cloud Build， 它 能 用 来 快速 日 大 规模 地 构建 、 测 试 和 部 署 软件 。 
在 Google Cloud Build 中 ， 可 以 设置 持续 构建 流水 线 ， 上 自动 执行 构建 和 测 
试 工作 ;而 且 它 能 够 发 现 持 续集 成 中 出 现 的 问题 ， 可 以 提供 分 析 和 建 


议 ， 用 户 还 可 以 通过 历史 错误 、 警 告 和 过 滤 需 来 识别 那些 可 能 会 阻碍 程 
序 构建 与 部 署 的 问题 。 


9.3.3 ”亚马逊 的 优秀 实践 


提 到 亚马逊 (Amazon) ， 有 些 人 就 会 想起 他 们 一 直 在 提倡 建立 “两 
个 比 陕 的 团队 ”(two-pizza team) 一 一 真正 的 敏捷 团队 〈5 一 9 人 ， 午 和 餐 
两 个 比萨 可 以 让 团队 “有 吃 饱 ”) 、 局 平 化 的 组 织 结 构 。 亚 马 逊 公司 对 人 才 
也 非 芝 重视 ， 在 招聘 上 很 下 功夫 ， 公 司 专门 设立 了 200 一 300 人 的 Bar 
Raiser， 提 高 新 人 加 入 公司 的 门槛 。 


亚马逊 现在 是 世界 上 最 大 的 云 服 务 供应 商 之 一 ， 它 的 基础 设施 不 容 
怀疑 ， 完 全 可 以 和 微软 、 谷 歌 媲美 ， 甚 至 超越 它们 。 在 AWS 弹 性 云 
上 ， 实 现 持续 集成 、 持 续 交 付 ， 以 及 DevOps 的 各 种 服务 ， 如 AWS 
CodeDeploy， 平 均 每 秒 超过 一 次 的 部 署 活 动 ， 也 能 做 到 “一 键 回 滚 ”。 


亚马逊 推行 "以 客户 为 中 心 " 这 样 的 质量 文化 ， 并 把 其 做 到 极致 。 亚 
马 逊 把 “以 客户 为 中 心 ” 写 到 企业 愿景 中 ， 真 正 痴迷 于 客户 ， 有 着 特殊 
的 “ 空 椅子 文化 ”: 在 开会 的 时 候 ， 总 是 在 会 议 室 放 一 把 留 给 客户 的 空 椅 
子 ， 以 此 提醒 与 会 者 ， 这 里 有 最 重要 的 人 一 一 客户 。 这 种 仪式 感 可 以 帮 
助 参加 会 议 的 人 员 把 目 己 代入 客户 角色 ， 从 客户 的 角度 思考 问题 ， 制 定 
决策 。 亚 马 逊 围绕 客户 需求 制定 了 400 个 量化 指标 来 衡量 运营 表现 ， 追 
求 细节 ， 即 便 是 最 细微 的 网 页 载 入 延迟 也 不 是 小 事 ， 必 须 找到 原因 ， 尽 
快 纠 正 。 因 为 根据 亚马逊 的 统计 ，0.1s 的 网 页 延迟 会 直接 导致 客户 活跃 














度 下 降 1%。 


以 极致 的 “以 客户 为 中 心 * 的 质量 文化 为 基础 ， 始 终 强 调 敏 捷 的 核心 
实践 之 一 一 一 质量 内 建 ， 这 包含 了 目前 倡导 的 许多 敏捷 测试 和 DevOps 
的 优秀 实践 ， 如 测试 左 移 、 持 续集 成 、 持 续 交 付 和 测试 右 移 等 。 开 发 人 
员 通 过 承担 编码 、 测 试 和 部 车 工作 ， 甚 全 线 上 运 维 的 贡 任 《〈 谁 开发 ， 谁 
运 维 ) ， 真 正 做 到 开发 人 员 对 自己 的 代码 质量 负责 。 这 还 体现 在 染 构 优 
化 上 : 从 单 体 结构 演化 成 面 回 服务 的 架构 SOA) ， 再 演化 成 微服 务 结 
构 ; 一 切 赂 API， 彻 底 解 簿 ， 系 统 组 件 / 服 务 之 间 的 依赖 度 降 低 ， 团 队 间 
的 代码 冲突 减少 ， 而 且 错误 被 隅 离 到 单个 微服 务 中 ， 绝 大 部 分 的 测试 可 
以 基于 接口 开展 ， 可 以 做 得 又 快 又 好 。 

















除 此 之 外 ， 还 有 其 他 质量 内 建 的 具体 实践 ， 例 如 : 


通过 技术 创新 不 断 提 升 用 户 体验 ; 





通过 相互 之 间 的 代码 评审 以 便 尽 早 发 现代 码 的 缺陷 ; 


。 编写 各 种 测试 脚本 ， 如 单元 测试 脚本 、 集 成 测试 脚本 和 性 能 测试 肢 
本 ; 

。 通过 自动 化 的 部 著 管 道 把 软件 部 团 到 测试 环境 、 类 生产 环境 和 生产 
环境 中 ， 


9.3.4 ThoughtwWorks 的 优秀 实践 





ThoughtWorks 是 一 家 IT 咨询 公司 ， 与 敏捷 开发 、 测 试 的 关系 可 以 说 
是 源远流长 ， 本 书 中 提 到 的 很 多 优秀 实践 都 出 自 这 家 公司 。 马 丁 ' 福 勒 
《人 敏捷 宣言 》 的 17 位 创始 人 之 一 ， 对 现代 软件 开发 带 来 很 深 的 影响 ) 
是 ThoughtWorks 的 首席 科学 家 ， 持 续集 成 的 概念 和 实践 通过 他 的 总 结 、 
提炼 才 被 大 家 广泛 接受 。《 持 续 交 付 : 发 布 可 靠 软 件 的 系统 方法 》 的 两 
位 作者 之 一 杰 兹 : 亭 布尔 至 今 仍 是 ThoughtWorks 的 首席 顾问 ， 另 一 位 作 
者 戴 维 :法 利 在 这 家 公司 工作 期 间 和 杰 效 : 亭 布 尔 一 起 完成 了 这 本 书 。 























这 里 我 们 主要 介绍 ThoughtWorks 公 司 是 如 何在 项 目 中 实践 敏捷 测试 
的 。 


在 ThoughtWorks 公 司 ， 没 有 测试 人 员 (tester〉 这 个 职位 ， 而 是 由 
质量 分 析 师 (quality analyst，QA) 负责 项 目 团队 中 各 种 质量 相关 的 工 
作 ， 通 过 各 种 实践 让 团队 中 的 所 有 人 对 质量 负责 。 质 量 分 析 师 会 承担 一 
部 分 测试 工作 ， 但 更 多 的 是 负责 把 团队 成 员 组 织 起 来 ， 一 起 协作 完成 测 
试 任务 。 质 量 分 析 师 需要 和 团队 一 起 完成 测试 的 分 析 、 计 划 和 设计 等 工 
作 ， 这 其 实 就 是 我 们 在 本 书 中 介绍 的 敏捷 团队 中 专职 的 测试 人 员 应 该 做 
的 事 。 














在 过 去 20 多 年 中 ， 质 量 分 析 师 总 结 出 大 量 的 敏捷 测试 实践 经 验 ， 主 
要 可 以 概括 为 3 个 方面 : 迭代 开发 中 的 敏捷 测试 实践 、 故 事 卡 开发 过 程 
中 的 敏捷 测试 实践 和 生产 环境 中 的 敏捷 测试 实践 。 





(1) 达 代 开发 中 的 敏捷 测试 实践 


ThoughtWorks 的 测试 分 析 是 建立 在 测试 左 移 的 基础 上 的 ， 并 且 贯 穿 
于 项 目的 不 同 阶段 ， 更 关注 在 业务 或 技术 层面 上 对 测试 风险 的 分 析 。 在 
此 基础 上 制定 测试 策略 ， 指 导 整 个 团队 成 员 完成 各 种 类 型 的 测试 。 测 试 
设计 定义 如 何在 有 限 的 时 间 和 资源 的 情况 下 高 效 地 禾 盖 高 风险 的 功能 。 





团队 在 整个 产品 的 生命 周期 都 坚持 使 用 持续 集成 及 持续 交付 的 各 种 
实践 ， 并 尽 可 能 自动 化 回归 测试 用 例 ， 手 工 测 试 采 用 探索 式 测试 的 方 
式 ， 加 速 交 付 过 程 。 如 图 9-12 所 示 是 ThoughtWorks 采 用 的 敏捷 测试 之 迭 
代 生 命 周 期 经 典 模型 。 之 所 以 称 之 为 经 典 模型 ， 是 因为 ThoughtWorks 在 
真实 的 不 同 项 目 实 践 中 会 有 所 改变 ， 这 体现 了 “没有 最 佳 实践 ， 只 有 优 
秀 实 践 ”? 的 上 下 文 驱 动 的 测试 思维 。 
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测 计 村 Rt 和 
迭代 2 
失 人 
则 试 分析 yi 验收 测试 江 探索 式 测试 人 
自动 化 测试 
透 代 3 
友 代 3 S 
Ve 探索 式 测试 
2 > > 
自动 化 验收 测试 


a >》 端 到 端 测试 3 集成 测试 》》 端 到 端 S 
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性 能 测试 


















































负载 测试 、 压 力 测 试 





图 9-12 ”ThoughtWorks 采 用 的 敏捷 测试 之 迭代 生命 周期 经 典 模型 
(2) 故事 卡 开发 过 程 中 的 敏捷 测试 实践 


ThoughtWorks 针 对 单个 用 户 故 事 形 成 了 一 个 自己 的 敏捷 测试 故事 
环 ， 如 图 9-13 所 示 。 


故事 启动 


故事 测试 故事 开发 
故事 验收 


图 9-13 ThoughtWorks 形 成 的 敏捷 测试 故事 环 





故事 局 动 : 质量 分 析 师 在 故事 启动 阶段 需要 参与 需求 澄清 、 业 务 场 
景 和 验收 测试 的 确认 。 


故事 计划 : 质量 分 析 师 需要 针对 单个 用 户 故 事 进行 测试 工作 估算 并 
制定 测试 计划 。 


故事 开发 : 质量 分 析 师 需要 在 开 友 完毕 之 前 发 现 缺陷 ， 从 而 实现 缺 
隐 的 快速 反馈 ， 防 止 缺 陷 流 动 到 验收 阶段 、 测 试 阶段 ， 减 少 缺 陷 的 
反馈 周期 ， 降 低 返 工 的 成 本 。 这 一 阶段 的 经 典 实践 包括 质量 分 析 师 
和 开发 人 员 结 对 实现 自动 化 测试 ， 质 量 分 析 师 和 开发 人 员 或 者 业务 
分 析 人 员 结 对 进行 每 日 内 部 演示 和 有 反馈， 及 时 和 团队 成 员 沟 通 发 现 
的 问题 和 缺陷 。 


故事 验收 : 质量 分 析 师 和 业务 分 机 人员 结对 进行 快速 验收 测试 。 验 
收 测试 可 以 是 手工 测试 ， 也 可 以 是 自动 化 测试 ， 通 常 是 先 做 手工 测 
试 ， 再 编写 目 动 化 测试 脚本 。 


。 故事 测试 : 通过 验收 测试 以 后 ， 执 行 探 标 式 测 试 、 安 全 测试 ， 开 友 
并 执行 目 动 化 验收 /回归 测试 。 


。 系统 测试 和 客户 演示 : 进行 业务 层面 的 端 到 端 测 试 ， 然 后 进行 功能 
的 最 终 客 户 验收 演示 ， 从 而 最 终 完 成 功能 故事 卡 的 开发 。 


(3) 生产 环境 中 的 敏捷 测试 实践 








当 产 品 交 付 到 用 户 手 中 或 者 发 布 上 线 以 后 ，ThoughtWorks 仍 然 需要 
在 生产 环境 中 做 质量 相关 的 工作 ， 即 测试 右 移 。 质 量 分 析 师 的 工作 范围 
也 从 研发 环境 扩大 到 产品 环境 ， 与 持续 交付 结合 ， 帮 助 持续 提高 产品 质 
量 。ThoughtWorks 的 线 上 测试 的 主要 实践 活动 如 下 。 





局 


。 对 生产 环境 中 产生 的 数据 进行 统计 分 析 ， 进 行 A/B 测 试 的 实验 ， 找 
到 优化 和 提高 软件 质量 的 方案 。 


。 对 产品 环境 的 日 志 进 行 可 调试 性 分 析 ， 通 过 优化 日 志 的 可 调试 性 ， 
当 产品 出 现 问题 时 ， 可 提升 问题 定位 和 修复 的 效率 。 





。 对 业务 功能 进行 持续 监控 ， 在 最 短 时 间 内 获得 业务 功能 的 反馈 。 


9.3.5 ”腾讯 的 优秀 实践 





腾讯 高 效 的 研发 能 力 得 益 于 以 下 4 个 因素 。 








1) 人 的 因素 。 腾 讯 坚持 招聘 并 培养 优秀 的 技术 人 员 ， 因 为 无 论 是 
业务 还 是 敏捷 的 变革 ， 均 离 不 开 优 秀 的 人 才 。 


2) 敏捷 文化 已 深入 人 心 。 敏 捷 已 变 成 每 个 团队 自发 的 行为 并 不 断 
在 实践 中 持续 改进 ， 这 符合 敏捷 团队 的 典型 特征 ， 即 目 组 织 的 、 自 动 赋 
能 的 和 自我 持续 所 升 的 。 


3) 完整 的 去 中 心 化 的 研发 工具 体系 。 平 台 之 间 使 用 松 厢 合 的 方式 
互相 集成 ， 既 包括 代码 和 需求 管理 的 统一 平台 ， 又 包括 业务 线 各 目的 持 
续集 成 、 持 续 测 试 和 部 署 管理 工具 链 ， 如 图 9-14 所 示 ， 从 中 心 出 友 的 每 
一 条 线 ， 部 能 伸展 出 一 条 完整 的 研发 和 运 维 工具 链 。 其 中 有 一 些 比较 著 
名 的 系统 ， 如 织 云 、 蓝 钙 、WeTest、Bugly。 每 个 业务 都 可 以 自行 定制 
贴近 自己 需求 的 研发 工具 ， 这 样 有 利于 每 个 研 友 团队 目 主 优化 研发 效 
A 





4) 通过 高 效率 的 质量 团队 ， 以 及 质量 工具 和 方法 构建 的 质量 保障 
能 力 。 在 研发 阶段 的 每 一 个 环节 ， 提 供 质量 反馈 机 制 ， 如 持续 集成 中 的 
代码 风格 扫描 、Coverity 扫 描 、Sonar 扫 描 和 自动 化 功能 测试 等 ， 做 到 了 
全 程 自动 化 : 自动 触发 、 自 动 检测 和 自动 上 报 。 


[一 办 公 自 动 化 体系 
一 知识 管理 
一 企业 IM 
| 办 公 网 络 
一 需求 敏捷 
一 代码 管理 
一 一 安全 管理 









互动 娱乐 事业 群 
社交 网 络 事业 群 

企业 从 公 自动 化 : 

。 统 一 身份 认证 移动 互联 网 事业 群 

。 账 号 管理 as 微 信 & 企 业 发 展 事业 群 

。 办 公 无 边界 通信 软件 : 企业 微 信 


知识 管 寺 : KM ( 知识 管 填 组 件 ) 


图 9-14 ”腾讯 研发 工具 链 示 意图 


9.3.6 ”阿里 巴巴 的 优秀 实践 


ee 不 保留 着 专职 的 测试 人 员 。 虽 然 阿里 巴巴 是 
互联 网 企业 ， 可 以 通过 灰 度 发 布 、 一 键 回 深 等 机 制 降低 软件 升级 的 风 
险 ， 但 是 它 的 业务 足够 复杂 ， 对 业务 系统 的 稳定 性 和 可 靠 性 要 求 非常 
高 ， 尤 其 从 2009 年 以 来 的 每 年 都 会 经 历 一 次 “ 双 11” 的 考验 ， 所 经 受 的 峰 
值 流 量 每 年 都 创新 高。 





阿里 巴巴 的 软件 测试 在 最 近 10 年 经 历 了 几 次 升级 。 


在 初始 阶段 ， 阿 里 巴巴 有 按照 测试 类 型 划分 的 独立 的 测试 团队 ， 如 
性 能 测试 团队 、 接 口 测 试 团队 、 安 全 测试 团队 每 ， 男 外 还 有 专门 负责 测 
试 自 动 化 的 测试 平台 开发 团队 和 负责 手工 测试 的 业务 测试 团队 。 在 这 个 


阶段 ， 逐 渐 涌 现 出 开源 测试 框架 ， 大 家 开始 重视 研发 效率 ， 重 视 上 自动 化 
测试 。 


在 第 2 个 阶段 ， 开 始 对 测试 团队 进行 改革 ， 技 术 化 和 平台 化 赋 能 给 
业务 测试 团队 ， 业 务 测试 人 员 必 须 具备 测试 自动 化 能 力 、 测 试 工具 开发 
能 力 ， 以 及 性 能 、 安 全 和 接口 等 方面 的 测试 能 力 。 同 时 ， 测 试 团队 开始 
帮助 开发 团队 建立 测试 能 力 。 针 对 测试 人 员 制 定 的 关键 绩效 指标 〈key 
performance indicator，KPI) 引导 测试 人 员 提 升 技 术 能 力 和 效能 意识 。 
测试 团队 开始 聚焦 测试 开发 能 力 、 工 程 效 能 思维 的 提升 。 








在 第 3 个 阶段 ， 随 着 业务 复杂 上 度 的 提升 ， 阿 里 巴巴 公司 面临 越 来 越 
多 的 质量 风险 的 挑战 ， 对 于 测试 人 员 的 能 力 要 求 也 越 来 越 高 。 首 先 ， 测 
试 人 员 需 要 关注 系统 功能 特性 的 质量 ， 更 需要 从 用 户 角度 对 测试 进行 设 
计 ， 加 强 系统 问 到 端的 面 癌 业务 的 测试 ， 其 次 ， 每 个 BU 的 测试 团队 都 
有 上 自己 的 测试 平台 ， 测 试 团队 中 的 测试 人 员 必 须 具 备 测 试 开 友 能 力 ; 再 
次 ， 测 试 人 员 对 系统 染 构 与 设计 的 掌握 也 成 为 必 备 技能 。 





目前 是 云 计算 、 大 数据 和 和 人工 智能 的 时 代 ， 也 是 DevOps 的 时 代 ， 
阿里 巴巴 对 测试 人 员 的 技术 和 能 力 的 要 求 进一步 提升 ， 也 更 加 关注 系统 
全 方位 的 质量 保障 。 测 试 左 移 、 测 试 右 移 和 测试 自动 化 的 提升 等 实践 更 
加 深入 ， 并 且 通 过 平台 化 建设 进行 落地 。 测 试 左 移 包括 软件 扩 术 方案 的 
可 测试 性 ， 代 码 评 审 ; 测试 目 动 化 的 提升 包 括 基 于 需求 自动 写 测试 肢 
本 ， 上 自动 生成 测试 数据 ， 测 试 右 移 包括 对 业务 系统 进行 在 线 监控 ， 进 行 
故障 注入 和 演练 ， 制 定 预 案 加 强 系 统 的 快速 恢复 能 力 等 。 











图 9-15 展 示 了 阿里 巴巴 的 研发 团队 中 不 同 角色 在 不 同 任务 中 从 事 的 
与 测试 相关 的 工作 。 


值得 大 家 借鉴 之 处 在 于 ， 阿 里 巴巴 在 其 公司 内 部 设立 了 两 个 奖项 ， 
用 于 辟 励 测试 人 员 的 业务 能 力 和 创新 能 力 的 提升 。 其 中 一 个 奖项 是 “ 金 
bug” 奖 〈Golden Bug Award，GBA) 。 阿 里 巴巴 在 每 个 季度 会 评选 发 现 
的 最 有 含金量 的 缺陷 ， 以 纯 金 奖牌 作为 奖励 。 该 奖项 的 评选 标准 是 不 仅 
从 业务 维度 评估 缺陷 的 价值 ， 同 时 也 会 从 技术 维度 评估 测试 技术 /方法 
的 创新 性 。 在 阿里 巴巴 ， 获 得 该 奖项 是 测试 人 员 的 个 人 最 高 荣誉 。 男 一 
个 奖项 是 测试 爱迪生 交 ， 该 奖项 用 于 奖励 测试 工程 师 在 测试 技术 上 的 发 
明和 创新 ， 茧 励 测 试 人 员 用 技术 手段 提升 测试 效率 ， 保 障 线 上 稳定 等 。 
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图 9-15 不 同 角色 在 不 同 任务 中 从 事 的 与 测试 相关 的 工作 





除 上 面 介 绍 的 几 家 公司 的 优秀 实践 之 外 ，Facebook、Netflix 等 公司 
也 做 得 不 错 。Netflix 拥 有 成 熟 的 质量 保障 之 道 、 强 大 的 基础 设施 和 混沌 
工程 实验 等 。 与 谷歌 一 样 ，Facebook 也 有 工程 师 文 化 ， 代 码 为 王 ， 并 强 
调用 正确 的 工程 方法 、 思 路 来 完成 工作 ， 这 极 大 地 激发 了 开发 人 员 的 内 





驱 力 和 创造 力 。 例 如 ，Facebook 搭 建 了 强大 的 试验 框架 ， 在 任何 一 个 时 
刻 都 可 以 测试 上 干 个 不 同 版 本 的 Facebook 服 务 ， 与 谷歌 类 似 ， 其 可 以 在 
测试 方面 做 得 又 快 又 好 ， 很 好 地 支持 了 快速 兴 代 和 持续 交付 。 





9.4 敏捷 过 程 的 反思 与 持续 改进 


本 市 我 们 一 起 回顾 一 下 敏捷 测试 的 八大 模块 ， 它 们 也 是 本 书 介绍 的 


主要 内 容 。 


基础 : 澄清 什么 是 敏捷 测试 ， 侧 重 讨论 了 敏捷 测试 的 思维 方式 和 流 
旦 ， 并 定义 了 一 个 新 的 敏捷 测试 四 象限 ， 相 信 读 者 会 很 受 局 发 ， 并 
能 领会 敏捷 测试 的 本 质 。 





人 与 组 织 : 从 测试 和 质量 这 样 的 视角 去 探讨 敏捷 团队 的 各 种 形态 ， 
以 及 其 所 具有 的 精神 、 文 化 与 协作 能 力 ， 包 括 敏捷 中 专职 的 测试 人 
员 、 测 试 负 责 人 等 的 职责 ， 以 及 如 何 构 建 有 质量 意识 的 学 习 型 团队 








基础 设施 : 基础 设施 是 敏捷 测试 做 得 又 快 又 好 的 基础 ， 借 助 虚拟 
化 、 容 峰 和 目 动 化 测试 等 技术 文 持 持续 测试 ， 并 将 静态 测试 、 目 动 
部 署 与 持续 集成 /持续 交付 、DevOps 等 集成 ， 实 现 持续 交付 。 





测试 左 移 : 测试 要 做 得 又 快 又 好 ， 测 试 左 移 是 必 不 可 少 的 。 在 传统 
测试 中 ， 需 要 进行 需求 评审 和 设计 评审 ， 在 敏捷 中 ， 更 应 该 提倡 
AITDD、BDD 和 需求 实例 化 ， 将 需求 转化 为 可 执行 的 活 文档 一 一 需 
求 是 可 执行 的 自动 化 脚本 ， 在 时 间 轴 上 是 最 彻底 的 自动 化 测试 。 





。 分 析 与 计划 : 无 论 采 用 什么 先进 技术 以 及 测试 是 否 左 移 ， 测 试 的 分 
析 与 计划 依旧 是 测试 中 最 重要 的 工作 之 一 ， 也 是 测试 的 设计 和 执行 
的 基础 。 这 一 部 分 针对 这 一 主题 进行 了 全 方位 探讨 ， 从 上 下 文 驱动 
思维 、 分 析 技 能 、 风 险 、 策 略 、 代 码 依赖 性 分 析 、 探 索 式 测试 和 
SBTM 等 维度 介绍 相关 的 方法 和 优秀 实践 。 


设计 与 执行 ， 敏 捷 测试 也 一 样 ， 最 终 要 落地 。 我 们 需要 关注 下 列 问 


匮 。 





o 如 何 面 对 用 户 故 事 来 完成 测试 的 设计 ? 





o 如 何 彻底 地 实现 自动 化 测试 ? 

o 单元 测试 必须 实施 TDD 吗 ? 

o 如 何 做 到 质量 和 效率 的 平衡 ， 以 及 质 效 合 一 ? 
本 模块 回答 了 上 述 问题 ， 并 提供 了 很 好 的 解决 方案 或 策略 。 


。 测试 右 移 :通过 在 生产 环境 中 的 在 线 测 试 和 在 线 监控 将 软件 测试 延 
伸 到 产品 的 运 维 阶 段 。 测 试 右 移 能 够 及 时 发 现 并 修复 在 研发 环境 中 
不 会 出 现 的 缺陷 ， 这 是 对 研发 阶段 的 测试 体系 的 重要 完善 和 补充 。 





。 收尾 与 改进 : 通过 定性 和 定量 的 方式 评估 测试 工作 本 身 的 质量 和 效 
率 ， 在 工作 中 持续 改进 。 


如 琳 读 者 理解 了 这 些 内 容 ， 束 掌握 了 敏捷 测试 的 思想 、 方 法 及 其 实 
践 。 如 果 团 队 在 这 些 方面 做 好 了 ， 那 么 敏捷 测试 不 再 是 “形似 而 神 不 


jy > 


团队 就 能 实现 高 效 的 敏捷 测试 。 


9.4.1 敏捷 过 程 的 反思 


正如 敏捷 模式 所 倡导 的 ， 每 个 夫 代 之 后 要 反思 ， 上 反思 理解 不 透 、 做 





得 不 好 的 地 方 ， 然 后 采取 行动 去 改进 。 如 何 衡 量 敏捷 测试 做 得 好 不 好 
呢 ? 可 以 从 不 同 的 维度 去 分 析 ， 本 书 侧重 讲解 的 维度 如 下 。 





敏捷 测试 的 思维 方式 和 质量 文化 。 


团队 的 技术 能 为 、 测 试 能 力 和 沟通 协作 能 力 等 。 





敏捷 测试 的 流程 。 流 程 常 常 也 是 一 个 改进 的 维度 ， 产 品 束 是 基于 这 
个 流程 被 研发 出 来 的 。 


测试 基础 设施 ， 例 如 ， 是 否 拥 有 良好 的 自动 化 测试 ? 是 否 很 好 地 支 
持 持续 集成 /持续 交付 、 持 续 测试? 


测试 左 移 /测试 右 移 是 人 否 到 位 ? 


测试 的 分 析 是 否 到 位 ? 测试 计划 是 否 简洁 、 有 效 ? 


测试 的 设计 和 执行 是 否 满 足 或 适合 敏捷 测试 的 诉求 ? 


为 此 ， 你 可 以 建立 一 个 评估 团队 敏捷 测试 水 平 的 雷达 图 ， 给 每 一 个 


维度 打分 《5 分 制 或 10 分 制 ) ， 了 解 目 己 团队 的 情况 ， 从 而 发 现 团队 在 
东 些 维度 上 的 弱势 ， 并 有 针对 性 地 进行 改进 。 如 图 9-16 所 示 ， 虚 线 标注 


的 是 期 望 目 标 ， 从 6 个 维度 评估 上 自己 团队 的 敏捷 测试 水 平 ， 可 以 发 现 
在 “团队 “测试 左 移 ”两 项 上 表现 比较 弱 ， 得 分 只 有 3.0， 刚 刚 及 格 。 此 时 
就 可 以 给 上 自己 的 团队 设 定 一 个 新 的 目标 一 一 提升 自己 团队 的 敏捷 思维 能 
力 和 技术 能 力 ， 做 好 测试 左 移 工作 ， 特 别 是 ATDD， 在 开发 前 细 化 用 户 
故事 的 验收 标准 ， 并 和 开发 人 员 、 产 品 人 员 、 业 务 人 员 一 起 评审 验收 标 
准 ， 以 达成 共识 。 

















图 9-16 评估 团队 敏捷 测试 水 平 的 雷达 图 


有 人 建议 要 将 敏捷 测试 分 得 更 细 ， 分 为 20 个 方面 ， 如 图 9-17 所 示 。 
这 样 做 也 许 效果 会 更 好 ， 因 为 分 解 得 越 细 ， 评 估 标 准 束 越 明确 。 值 得 我 
们 注意 的 是 ， 如 目 动 化 、 探 索 式 测试 、 反 馈 速 度 和 可 跟踪 性 等 ， 的 确 是 
需要 我 们 关注 的 ， 但 任务 、 库 有 些 含糊 不 清 ， 或 者 说 敏捷 的 特征 不 显 


本 


者 。 





图 9-17 评估 团队 敏捷 测试 水 平 的 20 个 方面 












9.4.2 ”敏捷 测试 过 程 的 改进 分 析 


在 敏捷 实施 过 程 中 ， 我 们 也 可 以 按照 “ 守 一 破 一 离 23 个 阶段 来 实施 
和 改进 。 


首先 ， 严 格 按照 第 6 一 8 章 中 所 讲述 的 各 种 流程 、 方 法 和 要 求 来 实施 
敏捷 测试 ， 即 先 “ 固 守 ” 人 们 已 探索 出 来 的 优秀 实践 ， 即 使 不 理解 ， 也 
可 “照搬 ?， 也 就 是 按照 成 熟 的 方法 实施 ， 因 为 那些 方法 和 实践 是 经 过 实 
践 和 探索 总 结 出 来 的 ， 即 经 过 了 实践 的 检验 。 





在 实施 了 一 段 时 间 之 后 ， 慢 慢 领 会 了 这 样 做 的 背后 原因 ， 再 结合 
己 团 队 的 实际 情况 ， 进 行 局 部 的 突破 和 创新 ， 提 升 敏捷 测试 水 平 。 


经 过 不 断 实 践 、 创 新 和 再 实践 ， 慢 慢 形 成 自己 一 套 完整 的 敏捷 测试 
方法 和 实践 ， 熟 练 运用 ， 才 能 彻底 “脱离 "别人 的 框架 和 方法 。 


9.4.3 ”数据 驱动 改进 


敏捷 测试 过 程 的 改进 离 不 开 度 量 ， 有 了 数据 ， 就 可 以 更 准确 、 客 观 
地 知道 问题 在 哪里 。 在 我 们 采取 了 改进 措施 之 后 ， 基 于 度量 数据 ， 才 能 
知道 这 些 改进 措施 有 没有 发 挥 作用 、 发 挥 了 多 大 作用 ， 从 而 准确 、 客 观 
地 了 解 是 否 得 到 了 改进 。 数 据 驱 动 改 进 ， 一 般 要 做 好 下 面 5 个 方面 。 











1) 做 好 测试 过 程 、 产 品质 量 相 关 的 数据 收集 工作 。 


2) 做 好 数据 的 抽取 与 分 析 ， 包 括 测试 充分 性 、 测 试 效率 等 分 析 工 
作 。 





3) 度量 结果 的 数据 可 视 化 呈现 。 





4) 随 大 敏捷 测试 改进 的 不 断 深入 ， 上 度量 指标 会 更 多 、 更 细 ， 从 而 
完善 度量 指标 体系 。 


5) 更 深入 地 进行 数据 挖掘 ， 找 出 更 有 价值 的 数据 。 





微软 公司 倡导 数据 张 动 的 质量 管理 ， 强 调 从 产品 价值 相关 数据 开始 
分 析 ， 深 入 用 户 体验 分 机， 包括 用 户 的 价值 、 易 用 性 分 析 等 ， 最 终 驱 动 
构建 “健康 ”的 系统 一 一 良好 的 性 能 、 可 用 性 和 可 靠 性 等 。 为 此 ， 微 软 公 
司 建立 了 一 个 数据 驱动 质量 模型 ， 如 图 9-18 所 示 。 
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图 9-18 ”微软 公司 的 数据 驱动 质量 模型 





9.4.4 PDCA 循环 


敏捷 测试 过 程 要 做 到 持续 改进 。PDCA 循 环 就 是 一 个 用 于 持续 改进 
的 简单 上 且 有 效 的 模型 ， 它 由 计划 (plan) 、 执 行 (do) 、 检 查 (check) 
和 行动 (action〉 4 个 部 分 构成 一 个 循环 过 程 ， 如 图 9-19 所 示 。 








。 计划 : 分 析 敏 捷 测 试 目前 的 现状 ， 友 现 测 试 过 程 中 存在 的 主要 问 
， 找 出 问题 产生 的 根本 原因 ， 制 定 测试 过 程 改 进 的 目标 ， 形 成 履 
Was 
的 风险 与 挑战 、 采 取 的 策略 ， 以 及 时 间 表 等 。 


。 执行 : 执行 是 计划 的 实现 ， 也 就 是 按 计划 落实 具体 的 对 策 ， 实 施 测 
试 过程 的 监控 和 度量 数据 的 收集 ， 使 活动 按照 预期 设想 癌 前 推进 ， 
努力 达到 计划 所 设 定 的 目标 。 


。 检查 : 对 执行 后 的 效果 进行 评 佑 ， 并 经 常 进行 内 部 审核 、 过 程 评 
审 、 文 档 评 审 和 产品 评审 等 活动 。 但 实际 上 ， 检 查 上 自始至终 伴随 着 








实施 过 程 ， 不 断 收集 (测试 要 素 、 关 键 质量 特性 等 ) 数据， 并 通过 
数据 分 析 、 结 果 度 量 来 完成 检查 。 检 查 方法 一 般 在 计划 中 就 基本 确 
定 下 来 了 ， 即 在 实施 前 经 过 了 策划 。 

















行动 : 在 检查 完结 果 后 ， 要 采取 措施 ， 即 总 结 成 功 的 经 验 ， 吸 取 失 
败 的 教训 ， 从 而 改善 流程 、 提 升 人 员 能 力 和 开发 新 的 工具 等 。 行 动 
是 PDCA 循环 的 升华 过 程 ， 没 有 行动 就 不 可 能 有 提高 。 








图 9-19 PDCA 循环 


在 PDCA 循环 中 ， 检 查 是 起 到 承 上 局 下 作用 的 重要 一 环 ， 是 自我 完 
善 机 制 的 关键 所 在 。 没 有 检查 残 无 法 友 现 问题 ， 改 进 束 无 从 谈 起 ， 
这 种 检查 ， 最 好 要 依据 客观 的 数据 ， 即 上 面 所 说 的 度量 。 





日 
只 是 








PDCA 循环 是 财 合 的 ， 同 时 具有 螺旋 上 升 的 必然 趋势 。PDCA 循 环 
告诉 我 们 ， 只 有 经 过 周密 的 策划 才能 付 诸 实 施 ， 实 施 的 过 程 必须 受 控 ， 
对 实施 过 程 进行 检查 的 信息 要 经 过 数据 分 析 形 成 结果 ， 检 查 的 结果 必须 
支持 过 程 的 改进 。 人 处 置 得 当 才 能 防止 相似 问题 再 次 发 生 ， 以 达到 预防 的 
效果 。 例 如 ， 质 量 标准 要 求 建 立 的 预防 机 制 ， 对 于 测试 、 评 审 和 监控 中 
发 现 的 软件 缺陷 ， 除 及 时 纠正 以 外 ， 还 需要 针对 其 产生 的 原因 制定 纠正 





普 施 ， 对 纠正 措施 的 评审 、 实 施 的 监控 及 实施 后 的 效果 进行 验证 或 确 
认 ， 达 到 预防 缺陷 的 目的 ， 然 后 改进 过 程 或 体系 ， 进 而 保证 持续 、 稳 定 
地 开发 高 质量 的 产品 。 


9.4.5 根 因 分 析 


在 改进 过 程 中 ， 一 定 会 遇 到 问题 ， 那 就 要 进行 根 因 分 析 (root- 
cause analysis) ， 以 找到 问题 产生 的 根本 原因 ， 进 而 制定 策略 或 采取 措 
施 消除 根本 原因 ， 彻 底 解决 问题 。 每 当 彻 底 解决 了 一 个 问题 ， 我 们 就 前 
进 了 一 步 。 如 果 只 是 解决 了 表面 问题 ， 那 么 类 似 的 问题 还 会 发 生 ， 也 就 
没有 进步 。 根 因 分 析 可 以 分 为 3 个 步 又。 


。 识别 是 什么 问题 ， 如 是 遗漏 的 缺陷 还 是 客户 新 的 需求 。 





。 找 出 造成 问题 的 根本 原因 。 如 对 于 为 什么 遗漏 缺陷 ， 可 能 是 缺少 测 
试用 例 ， 也 可 能 是 有 的 测试 用 例 没 有 被 执行 。 如 果 是 缺少 测试 用 例 
的 原因 ， 那 么 要 分 析 为 什么 缺少 。 分 析 的 结果 可 能 是 没有 想到 ， 那 
么 对 于 为 什么 没有 想到 ， 就 要 分 析 是 缺少 相关 知识 还 是 没有 认真 对 
待 。 一 般 通 过 上 述 分 析 过 程 就 可 以 找到 根本 原因 。 另 外 ， 我 们 还 可 
以 采用 鱼 骨 图 〈( 因 果树)、 决 策 表 ， 以 及 失效 模式 和 影响 分 析 
(failure mode and effect analysis，FMEA) 等 方法 。 如 图 9-20 所 示 
就 是 根 因 分 析 中 鱼 骨 图 的 一 个 示例 。 











。 找 到 解决 问题 的 方法 、 措 施 ， 然 后 实施 解决 方案 ， 从 而 解决 问题 。 





设计 不 合理 \ 
re \ 


测试 用 例 而 








效率 偏 低 \ \e 更 新 不 及 时 \ 
ace 脚本 质量 不 好 | 忆 代码 评审 形式 单调 脚本 开发 环境 上 或 
sy， b 人 \ 漠 
\ \ \ \ 
} | 
/ 蚁 心 人 品 不 重 人 /和 
/SS 疯 单 元 | 过 |/ 本 旗 
| Et 
| 后 





测试 计划 做 好 就 | 
搁 在 抽 居 里 了 /总 










测试 执行 没 有 有 交 有 交叉 所 换 人 | 





没有 将 测试 上升 / 
到 | 专 专业 高 度 | 





图 9-20 用 鱼 骨 图 进行 根 因 分 析 的 示例 


本 章 小 结 


敏捷 测试 过 程 的 评估 也 强调 持续 性 ， 从 测试 左 移 开 始 ， a 
析 、 计 划 和 执行 ， 再 到 测试 右 移 中 的 每 项 测试 任务 都 可 以 通过 定性 和 定 
Eu 
敏捷 化 ， 因 此 敏捷 测试 的 度量 应 该 考虑 如 何 做 到 简单 、 有 效 ， 而 且 能 够 
正确 引导 团队 的 质量 文化 的 提升 。 





敏捷 测试 需要 结合 敏捷 开发 流程 来 开展 相关 的 收尾 与 改进 工作 ， 充 
分 利用 每 个 迭代 之 后 的 反思 会 ， 反 思 在 这 个 帮 代 过 程 中 做 得 不 够 好 的 地 


方 ， 然 后 大 家 共同 讨论 如 何 改 进 。 








敏捷 测试 过 程 的 改进 需要 经 常 复 盘 ， 在 研发 过 程 中 做 好 数据 收集 ， 





建立 能 够 评估 测试 过 程 的 度量 指标 和 度量 体系 ， 让 度量 结果 的 数据 可 视 
化 呈现 ， 借 助 PDCA、 根 因 分 析 等 工具 ， 进 行 持 续 改 进 。 经 过 日 复 一 
日 、 年 复 一 年 的 努力 ， 团 队 就 会 快速 成 长 起 来 。 





延伸 阅读 





在 本 章 中 ， 关 于 测试 过 程 和 训 试 质量 的 度量 是 针对 一 个 敏捷 团队 而 
言 的 。 不 过 ， 大 家 也 许 对 于 这 个 问题 比较 感 兴趣 : 敏捷 团队 中 是 否 需 要 
设立 质量 相关 的 KPI 从 而 对 团队 中 的 个 人 进行 考核 ? 笔者 认为 ， 实 施 了 
敏捷 模式 的 公司 可 能 不 需要 针对 团队 中 的 个 人 设立 KPI， 而 应 针对 整 
个 敏捷 团队 设立 KPI。 这 是 因为 敏捷 开发 强调 团队 对 质量 负责 ， 产 品 的 
质量 和 测试 的 质量 不 是 茶 一 个 人 的 事情 。KPI 需 要 与 公司 的 战略 目标 联 
系 起 来 ， 取 决 于 : 











。 特定 的 公司 所 定义 的 关键 商业 目标 ; 
。 公司 对 质量 的 认识 ,特别 是 对 “质量 起 什么 作用 ”的 认识 ; 
。 对 于 软件 测试 的 态度 ， 对 于 测试 工作 理解 的 程度 。 


制定 什么 样 的 KPI 取决 于 每 个 公司 如 何 看 待 质量 ， 如 何 看 待 测试 
以 及 如 何 看 待 测试 人 员 。KPI 是 一 把 * 双 刃 剑 "， 由 于 它 的 导向 作用 ， 正 
确 的 KPI 能 够 提高 大 家 的 工作 效率 ， 而 错误 的 KPI 就 会 导向 错误 的 广 
向 。 举 个 例子 ， 有 的 开发 团队 在 衡量 开发 人 员 绩效 的 KPI 中 把 "每 月 修复 
的 bug 数 量 "作为 重要 的 衡量 指标 ， 那 开发 人 员 编写 的 代码 质量 越 低 ， 产 
生 的 bug 数量 越 多 ， 沁 不 是 绩效 越 容易 达标 ? 














制定 KPI 征 一 项 系统 工程 ， 不 是 简单 地 列举 几 个 指标 就 可 以 的 。 对 
于 测 斌 人员， 仅仅 衡 量 测试 用 例 执 行 数 或 报告 的 缺陷 数 ， 以 及 测试 自动 
化 成 果 是 片面 的 。 











总 之 ， 真 正 有 优秀 质量 文化 的 公司 可 能 不 需要 针对 员工 个 人 设立 
KPI， 而 没有 民 好 的 质量 文化 的 公司 即使 实施 了 质量 相关 的 KPI， 也 不 
一 定 有 良好 的 效果 。 目 前 ， 有 不 少 的 公司 不 再 用 KPI 衡量 个 人 绩效 ， 而 
是 使 用 目标 与 关键 成 果 法 (objectives and key results，OKR) 。 


如 果 非 要 给 测试 人 员 制 定 KPI， 那 么 可 以 将 如 表 9-1 所 示 的 一 些 KPI 
作为 参考 。 这 里 只 考虑 测试 工作 自身 的 质量 和 效率 ， 不 考虑 权重 、 优 先 
级 等 。 


表 9-1 测试 工作 KPI 参考 项 





客户 满意 度 


F 线 后 出 现 的 缺陷 数 ; 

测试 质量 设计 的 测试 (用 例 〉 的 履 盖 率 ; 
测试 用 例 或 脚本 执行 的 稳定 性 ; 

被 拒绝 或 延期 的 缺陷 《〈 误 报 ) 百分比 














评审 了 多 少 需 求 ; 
评审 了 多 少 代码 ; 

设计 了 多 少 测试 用 例 ; 
测试 覆盖 了 多 少 需求 点 ; 
执行 了 多 少 测试 用 例 ; 

。 开发 了 多 少 自 动 化 测试 脚本 ; 
发 现 了 多 少 有 效 的 缺陷 


测试 数量 





测试 的 有 效 性 和 效率 




















缺陷 数 /上 百 个 测试 用 例 数 ; 




















缺陷 数 / 脚 本 KLOC ( 千 行 代码 ， 一 和 


自动 化 测试 百分比 ; 
缺陷 “存活 "时 间 





测试 专利 申请 或 被 批准 数 ; 

测试 过 程 较 大 改进 的 建议 被 采纳 ; 

提出 了 一 种 新 的 且 有 效 的 测试 策略 /方法 ; 
发 现 了 新 的 缺陷 模式 “故障 模式 ) ，; 
开发 了 一 款 测试 工具 




















第 10 革 敏捷 测试 的 展望 


10.1.1 大 数据 的 特性 与 挑战 
10.1.2 大 数据 的 测试 方法 
10.1.3 大 数据 的 测试 实践 
10.1.4 大 数据 的 测试 工具 





10.1 大 数据 的 测试 | 


10.2.1 人 工 智能 系统 的 不 确定 性 和 不 可 解释 性 
10.2.2 人 工 智能 系统 的 白 盒 测 试 

10.2.3 人 工 智能 系统 的 算法 验证 

10.2.4 案例 : 针对 智能 语音 的 设计 与 执行 





10.2 人 工 智能 系统 的 测试 


10.3.1 基于 图 像 识别 技术 的 UI 测试 


10.3.2 基于 人 工 智能 的 、 全 白 动 化 的 接口 测试 
第 10 章 “敏捷 测试 的 展望 ss 
10.3 人 工 智能 助力 敏捷 测试 ) 10.3.3 人 工 智能 助力 代码 深度 分 析 


10.3.4 人 工 智 能 驱动 测试 
10.3.5 人 工 智能 测试 工具 








10.4.1 敏捷 测试 工具 的 发 展 趋 势 
10.4 敏捷 测试 工具 的 未 来 ) 10.4.2 基于 模型 的 测试 的 前 景 如 何 
10.4.3 无 代码 化 的 测试 自动 化 











10.5.1 重新 理解 持续 测试 
10.5.2 持续 测试 的 实现 框架 
10.5.3 持续 测试 成 熟 度 模型 
10.5.4 彻底 的 持续 测试 








10.5 彻底 实现 持续 测试 





对 于 敏捷 测试 的 未 来 ， 笔 者 将 其 概括 为 “六 化 ”。 


1) 敏捷 化 : 随 着 敏捷 和 DevOps 的 引入 ， 测 试 左 移 到 位 
ATDD、 测 试 驱 动 设 计 ， 测 试 右 移 显 著 增 强 一 一 在 线 测 试 ， 更 彻底 地 文 
持 持续 交付 《包括 DevOps) 。 





2) 局 度 目 动 化 : 提高 自动 化 测试 技术 和 持续 优化 自动 化 框架 或 目 
动 化 测试 工具 ， 让 自动 化 无 处 不 在 ， 叶 穿 整 个 测试 全 过 程 ， 窗 冀 测 试 的 
各 个 方面 ， 正 如 Gartner 发 布 的 2020 年 十 大 技术 趋势 之 一 一 一 超级 目 动 
化 。 





3) 云 化 : 采用 当今 的 虚拟 机 、 容 器 等 技术 ， 将 软件 测试 环境 建立 
在 具有 高 弹性 、 可 伸缩 的 云 平台 上 ， 使 测试 资源 充分 共享 ， 降 低 测 试 成 
本 和 提高 测试 效率 。 


4) 服务 化 : 让 软件 测试 成 为 一 种 服务 ， 简 单 地 说 ， 让 所 有 的 测试 
能 力 可 以 通过 API 来 实现 ， 构 建 测试 中 台 ， 任 何 研发 人 员 可 以 按 需 目 动 
获取 测试 的 能 

5) 便 型 化 ， 基 于 模型 的 测试 ， 才 能 更 有 效 、 更 精准 ， 测 试 才能 彻 


撒 目 动 化 。 过 去 ， 人 们 第 说 的 目 动 化 测试 ， 只 是 半 目 动 化 一 一 测试 执行 
的 上 自动化。 彻底 的 目 动 化 是 指 测 试 数据 、 训 试 脚 本 都 是 目 动 生成 的 。 














6) 智能 化 : 当今 的 互联 网 、 存 储 能 力 、 技 术 能 力 和 大 数据 掀起 了 
人 工 智能 的 第 三 次 浪潮 ， 人 工 智能 能 够 服务 其 他 行业 ， 目 然 能 够 服务 于 
测试 ， 而 且 在 上 述 高 度 自动 化 、 云 化 、 服 务 化 和 模型 化 的 基础 上 ， 人 工 
智能 更 能 发 挥 作用 ， 包 括 测试 数据 的 目 动 生成 ， 自 主 操控 软件 ， 缺 陷 和 
日 志 的 智能 分 析 ， 优 化 测试 分 析 与 设计 等 。 








这 些 大 的 趋势 也 是 相互 促进 的 ， 测 试 云 化 后 ， 测 试 生命 周期 过 程 中 
产生 的 数据 更 加 集中 ， 有 利于 机 器 学 习 、 深 展 学 习 ， 从 而 促进 测试 的 知 
能 化 。 云 化 也 促进 服务 化 ， 智 能 化 促进 高 度 自 动 化 ， 模 型 化 和 智能 化 也 














相互 促进 。 从 根本 上 来 看 ， 测 试 未 来 的 趋势 更 体现 在 高 度 的 目 动 化 和 智 
能 化 上 ， 从 而 实现 持续 测试 ， 使 测试 不 会 成 为 持续 交付 的 瓶 贷 ， 更 好 地 
提升 业务 苋 争 力 。 


除 测试 的 目 身 发 展 趋势 以 外 ， 测 试 还 要 面临 软件 新 技术 、 新 型 应 用 
系统 的 挑战 ， 如 如 何 测 试 大 数据 、 如 何 验证 机 器 学 习 模 型 ， 以 及 如 何 测 
试 人 工 智 能 应 用 系统 。 








忆 之 ， 预 测 未 来 很 难 ， 但 了 解 当 前 技术 的 发 展 特点 和 业界 吸 答 解决 
的 痛 上 把 ， 也 许可 以 帮助 我 们 畅想 一 下 敏捷 测试 的 未 来 。 


10.1 大 数据 的 测试 





2017 年 ， 《经 济 学 人 》 杂 志 发 表 了 一 篇 文章 《世界 上 最 宝贵 的 资 
源 不 再 是 石油 ， 而 是 数据 》 (“The world's most valuable resource is no 
longer oil, but data”) ， 从 此 以 后 ， 人 们 党 说 的 一 句 话 是 : 大 数据 就 是 未 
来 的 新 石油 。 随 着 移动 互联 、 物 联网 的 应 用 和 发 展 ， 社 交 媒 体 、 网 络 直 
播 、 更 多 的 传 感 设备 、 移 动 终端 逐渐 占据 了 人 们 的 生活 空间 ， 由 此 而 产 
生 的 数据 及 其 增长 速度 将 比 历 史上 的 任何 时 期 都 要 多 、 都 要 快 。 

















“大 数据 ”这 个 术语 ， 不 但 意味 着 数据 本 号 ， 而 且 意味 着 用 于 处 理 和 
分 析 数 据 的 工具 、 平 台 和 业务 系统 。 另 外 ， 从 大 数据 生命 周期 来 
看 ,“ 大 数据 ”还 意味 看 数据 采集 、 预 处 理 、 数 据 存储 、 数 据 分 析 及 数据 
可 视 化 的 实现 过 程 及 其 核心 技术 。 








通过 数据 帮助 企业 进行 业务 决策 ， 而 数据 质量 是 决策 成 功 的 基石 ， 





毕竟 没有 一 个 组 织 能 够 根据 不 展 数据 做 出 有 关 新 产品 发 布 、 客 户 参 与 或 
数字 化 转型 的 正确 决策 。 因 此 ， 大 数据 的 发 展 也 不 断 促 进 和 倒 逼 大 数据 
汕 试 技术 的 发 展 。 








10.1.1 大 数据 的 特性 与 挑战 


大 数据 是 指 随 着 时 间 呈 指数 级 增长 的 庞大 且 复 杂 的 数据 集 ， 因 此 无 
法 用 传统 的 数据 处 理 技 术 对 其 进行 处 理 和 分 析 ， 而 必须 采用 高 效 、 新 型 
的 模式 。 通 过 对 大 数据 的 收集 、 分 析 和 处 理 可 以 发 现 对 组 织 有 价值 的 信 
恩 ， 从 而 增强 组 织 的 洞察 力 和 决策 能 力 。 





大 数据 的 特点 一 般 用 4V 来 表示 ， 即 数据 规模 大 ， 数 据 生成 速度 快 
(或 时 效 性 强 ) ， 数 据 种 类 索 多 和 数据 价值 密度 低 。 


1) 数据 规模 大 〈volume) : 随 厦 移 动 互联 、 物 联网 、 社 区 媒体 和 
电子 商务 等 技术 的 发 展 ， 世 界 正 在 无 时 无 刻 地 产生 大 量 信息 。 根 据 统 
计 ， 当 前 在 网 络 中 每 天 产生 高 达 240 亿 字 节 的 数据 ， 过 去 两 年 中 产生 的 
数据 比 之 前 的 整个 人 类 历史 中 产生 的 都 要 多 。 





2) 数据 生成 速度 快 《〈velocity) : 在 各 种 数据 源 中 高 速 、 连 续 地 生 
成 数据 ， 数 据 的 时 效 性 对 于 业务 分 机 和 决策 通 间 非常 关键 ， 数 据 生 成 和 
处 理 的 速度 要 满足 业务 的 需求 。 


3) 数据 种 类 繁多 (variety) : 数据 种 类 繁多 ， 格 式 多 种 多 样 。 大 
数据 中 不 但 包含 结构 化 数据 ， 而 且 包 含 丰 富 多 样 的 半 结 构 化 数据 和 非 结 


构 化 数据 ， 见 表 10-1。 当 前 大 数据 系统 中 需要 处 理 的 数据 超过 90% 以 上 
都 是 非 结构 化 数据 。 非 结构 化 数据 也 正在 变 得 越 来 越 重 要 ， 例 如 ， 企 业 
需要 从 在 线 评论 、 社 交 媒 体 信息 中 提取 数据 进行 业务 分 析 和 商业 决策 。 











表 10-1 大 数据 中 的 数据 分 类 





适合 存储 在 关系 型 数据 库 的 数据 类 型 。 
结构 化 数据 组 织 性 强 ， 数 据 格式 是 提前 
定义 好 的 ， 易 于 查询 和 分 析 




















数据 没有 严格 地 进行 组 织 ， 但 随 着 数据 
一 起 提供 的 有 标签 和 元 数据 











没有 预先 定义 好 的 数据 格式 ， 不 适合 存 
储 在 关系 型 数据 库 中 








光 





























、 电 话 号 码 、 产 品 库存 和 客户 名 





CSV 和 JSON 等 格式 数据 





、 语 音 和 视频 文件 、 文 本 文件 、 
、 来 自 社 交 媒 体 的 数据 ， 以 及 聊 
具 中 的 聊天 记录 等 

















， 


4) 数据 价值 密度 低 (value〉: 数据 价值 密度 的 高 低 与 数据 总 量 的 
大 小 成 反比 ， 例 如 ， 在 互联 网 模式 的 系统 中 ， 每 天 记录 大 量 的 用 户 日 
志 ， 其 中 具有 商业 价值 的 信息 需要 从 海量 数据 中 进行 收集 、 处 理 和 分 析 
才能 提取 出 来 ， 因 此 才 出 现 了 数据 挖掘 技术 。 

















数据 时 代 的 到 来 ， 一 方面 ， 让 人 们 前 所 未 有 地 认识 到 数据 的 价值 ， 
企业 需要 利用 大 数据 中 有 价值 的 信息 ， 迅 速 采 取 行 动 ， 如 降低 运营 成 
本 ， 推 动 组 织 创新 ， 迅 速 推出 新 的 产品 和 服务 ， 让 组 织 变 得 更 具 苋 争 
力 ; 男 一 方 面 ， 大 数据 的 发 展 也 不 断面 临 新 的 挑战 ， 这 不 但 体现 在 大 数 
据 技 术 方面 ， 而 且 涉 及 法 律 和 道德 层面 。 











有 人 用 "海啸 ?来 形容 当前 数据 量 的 增长 速度 ， 大 数据 的 生成 速度 正 
快速 超过 现 有 大 数据 的 分 析 和 处 理工 具 的 能 力 ， 人 迫切 需要 更 智能 的 算 
法 、 更 强大 的 IT 基础 设施 ， 以 及 新 的 数据 处 理 撤 术 ， 以 提高 实时 处 理 和 
存储 大 规模 的 数据 的 能 力 。 同 时 ， 如 何 提高 手头 数据 的 利用 效率 是 一 个 
值得 研究 的 方向 。 根 据 IDC 提 供 的 数据 ，2020 年 每 个 上 网 的 人 平均 每 秒 
产生 1.7 浪 字 市 的 新 数据 ， 所 有 数据 中 只 有 37% 可 以 被 分 析 和 处 理 ， 因 而 
留 下 大 量 未 被 处 理 和 利用 的 信息 。 技 术 方 面 的 挑战 在 于 如 何 从 不 同 的 系 
统 和 平台 中 有 效 地 提取 数据 。 








数据 不 真实 、 不 准确 、 不 透明 、 不 共享 和 不 安全 是 当前 数据 发 展 与 
使 用 方面 的 几 个 突出 问题 。 在 企业 内 部 不 同 的 系统 中 数据 有 不 同 的 属性 
言 轧 ， 缺 乏 统一 的 数据 标准 和 规范 文档 。 组 织 间 的 数据 共 邓 更 是 一 个 难 








题 。 在 大 数据 面前 ， 用 户 面 临 隐私 泄露 的 问题 ， 大 量 通道 及 互 连 节 点 的 
存在 增加 了 黑客 利用 系统 漏洞 的 可 能 性 。 企 业 需 要 通过 数据 治理 提高 数 
据 质量 、 数 据 安全 和 企业 的 数据 管理 水 平 ， 从 而 进行 数据 质量 监控 平台 
的 建设 ， 从 多 个 维度 、 各 个 阶段 加 强 对 大 数据 的 监控 、 告 警 和 诊断 。 











这 些 也 为 大 数据 测试 市 来 了 相应 的 技术 挑战 。 大 数据 测试 与 传统 数 
据 测 试 在 数据 、 基 础 设施 和 验证 工具 方面 有 很 大 不 同 。 当 前 大 数据 测试 
的 挑战 在 于 测试 效率 、 实 时 处 理 大 型 数据 集 的 能 力 ， 以 及 大 数据 应 用 的 
性 能 测试 等 方面 。 大 数据 的 自动 化 测试 解决 方案 蝶 竺 完善， 不 但 需要 能 
够 文 持 大 数据 技术 生态 系统 的 大 数据 测试 工具 和 平台 用 来 提高 测试 效率 
和 训 试 场景 的 履 盖 率 ， 而 且 需 要 大 数据 测试 在 DevOps 环 境 中 的 集成 ， 
以 满足 更 加 高 效 地 对 数据 进行 持续 测试 的 要 求 。 在 性 能 测试 方面 ， 大 数 
气 系 统 中 每 个 组 件 属于 不 同 的 技术 ， 需 要 独立 调试 ， 没 有 单个 工具 可 以 
执行 并 到 端的 性 能 测试 ， 需 要 特殊 的 测试 环境 才能 满足 大 数据 量 的 测试 


需求 。 




















大 数据 技术 的 落地 往往 伴随 着 高 郧 的 成 本 。 如 果 企 业 选择 本 地 部 署 
大 数据 系统 ， 束 意味 看 需要 投入 便 件 设施 、 研 发 人 员 和 系统 维护 等 多 方 
面 的 费用 ; 如 果 企 业 选 择 基 于 云 的 大 数据 解决 方案 ， 那 么 需要 文 付 云 服 
务 、 大 数据 解决 方案 开发 和 维护 方面 的 费用 。 如 何在 投入 和 产 出 价值 之 
间 权 衡 ， 找 到 合适 的 解决 方案 ， 古 很 多 企业 和 组 织 需要 慎重 考虑 的 问 


匮 。 





10.1.2 大 数据 的 测试 方法 


大 数据 的 测试 需要 窗 盖 大 数据 系统 架构 、 业 务 应 用 ， 以 及 作为 大 数 
据 系 统 核 心 功能 的 数据 处 理 过 程 的 验证 。 这 其 中 涵盖 了 功能 测试 、 性 能 
测试 、 安 全 测试 和 可 靠 性 测试 等 多 种 测试 类 型 。 


目前 一 般 使 用 Hadoop 生 态 系统 中 的 相关 组 件 HDFS、MapReduce、 
Hive 和 HBase 等 搭建 大 数据 平台 ， 提 供 大 数据 的 分 布 式 存储 、 计 算 等 服 
务 。 一 个 Hadoop 系 统 由 庞大 的 计算 机 集群 组 成 ， 包 含 几 百 个 甚至 上 于 个 
计算 节点 ， 对 于 系统 的 性 能 以 及 高 可 用 性 、 可 扩展 性 的 能 力 要 求 很 高 。 
大 数据 系统 的 体系 结构 非常 关键 ， 粳 糕 的 架构 会 导致 系统 性 能 下 降 、 古 
点 故障 频 及 和 数据 处 理 延 迟 等 一 系列 问题 ， 并 因此 产生 高 昂 的 维护 成 
本 。 在 测试 方面 ， 需 要 针对 单个 模块 和 模块 间 的 交互 进行 测试 ， 并 且 对 
整个 系统 进行 器 到 站 的 测试 。 系 统 级 别 的 测试 应 该 覆盖 性 能 、 可 笔 性 和 
稳定 性 等 方面 : 性 能 测试 反映 了 大 数据 系统 在 各 种 场景 下 的 数据 处 理 能 
力 ， 需 要 评估 的 指标 包括 任务 完工 时 间 、 数 据 吞 吐 量 、 内 存 利用 率 和 
CPU 利用 率 等 ， 稳 定性 测试 验证 系统 在 长 时 间 运 行 下 ， 系 统 各 项 功能 是 
否 仍 然 正常 ， 可 靠 性 测试 验证 大 数据 体系 架构 的 容错 性 、 高 可 用 性 ， 以 
及 可 扩展 性 。 例 如 ， 系 统 某 个 节点 出 现 故 障 ， 服 务 是 否 可 以 无 颖 切换 到 
备份 节点 、 故 障 节 点 是 否 具 备 快速 恢复 能 力 ， 以 及 集群 是 否 具 备 弹 性 扩 
容 能 力 等 。 例 如 ，Hadoop 架 构 中 的 大 数据 应 用 有 数 百 个 数据 节点 ， 当 某 
个 节点 出 现 故 障 时 ，HDFS 会 自动 检测 到 故障 并 对 节点 恢复 重新 运行 ， 
可 靠 性 测试 中 需要 评估 故障 恢复 时 间 等 指标 。 














大 数据 应 用 是 指 像 互 联网 商业 模式 中 的 推荐 系统 ， 以 及 IT 监控 系统 
等 基于 数据 模型 的 业务 应 用 ， 一 般 与 人 工 智能 直接 相关 ， 这 部 分 将 在 


10.2 节 讨论 ， 主 要 是 算法 、 人 工 智能 模型 等 的 验证 。 大 数据 应 用 基本 结 
构 及 测试 范围 如 图 10-1 所 示 。 








测试 范 臣 























数据 源 

(各 种 媒 数据 
体 、 日 志 输入 
等 非 结构 > 
化 数据 ， Hadoop 
如 文本 平台 
视频 等 ) 

















图 10-1 大 数据 应 用 基本 结构 及 测试 范围 示意 图 





大 数据 从 源 系统 中 提取 ， 并 经 过 数据 转换 、 清 洗 等 处 理 ， 最 终 加 载 
进 目 标 数据 仓库 。 这 个 流程 称 为 ETL (extract-transform-load， 抽 取 一 转 
换 一 加 载 ) ， 是 大 数据 系统 的 核心 功能 。 大 数据 系统 的 EIL 测 试 敌 善 数 
据 采 集 、 数 据 存储 和 数据 加 工 等 方面 的 验证 ， 重 点 是 在 验证 数据 输入 / 
输出 及 处 理 过 程 ， 以 确保 数据 在 整个 数据 处 理 转换 过 程 中 是 完整 且 准 确 
的 。EIL 测 试 主要 采用 数据 分 类 、 分 层 、 分 阶段 测试 方法 ， 功 能 测试 是 
重点 ， 同 时 也 需要 考虑 性 能 测试 、 安 全 测试 、 兼 容 性 测试 和 易 用 性 测试 


上 
等 。 





这 里 以 Hadoop、MapReduce 平 台 为 例 ， 具 体 测 试 分 为 3 个 阶段 ， 分 
别 进行 。 通 过 过 程 的 验证 才能 更 好 地 保证 输出 的 质量 。 


1) 数据 阶段 验证 。 这 是 数据 预 处 理 及 其 加 载 的 验证 。 例 如 ， 使 用 
工具 Talend 或 Datameer 验 证 下 列 内 容 。 


。 验证 来 自 各 方面 的 数据 资源 ， 检 查 来 自 各 个 数据 源 的 数据 是 否 被 加 


证 ， 
人 人 


载 到 数据 系统 (如 Hadoop 系 统 ) 中 。 


检查 相关 数据 是 否 以 正确 的 格式 完整 地 读 入 数据 系统 中 。 





检验 上 传 数据 文件 过 程 中 ， 是 否 腊 单数 据 流 入 存储 或 运算 系统 
中 ; 如 末 突 然 中 断 ， 系 统 能 否 有 提示 、 是 否 会 挂 起 。 





将 源 数 据 与 加 载 到 数据 系统 中 的 数据 进行 比较 ， 检 查 它 们 是 人 否 
配 、 一 致 。 


验证 数据 是 否 正 确 地 被 提取 并 加 载 到 数据 存储 管理 系统 (如 
HDFS) 中 。 


2) 数据 计算 验证 。 这 个 阶段 侧重 每 个 市 点 上 的 业务 逻辑 计算 验 
一 般 需 要 在 运行 多 个 节点 的 分 布 计算 后 再 进行 验证 ， 检 查 下 列 操 








分 布 式 计算 〈 如 Map 与 Reduce 进 程 ) 能 否 正常 工作 。 
在 数据 上 能 否 正确 地 实现 数据 聚合 或 隔离 规则 。 


业务 逻辑 处 理 是 否 正 确 、 是 否 能 正确 生成 键 值 对 等 。 





验证 数据 在 分 布 式 计算 (Map 和 Reduce 进 程 执 行 ) 后 是 否 正 确 。 


汕 试 一 些 开 种 情况 ， 如 数据 输入 中 断 ， 以 及 给 算法 “ 喂 ” 的 数据 过 大 


3) 输出 阶段 验证 。 对 数据 输出 进行 验证 ， 包 括 对 输出 的 数据 文件 
及 其 加 载 等 进行 验证 。 





。 检查 转换 规则 是 否 补 正确 应 用 。 
。 检 醋 输 出 结果 的 各 项 指标 表现 如 何 。 
。 检查 数据 是 否 完整 、 准 确 ， 以 及 是 否 被 及 时 加 载 到 目标 系统 中 。 


。 检查 用 户 可 见 的 数据 信息 是 否 准确 、 有 序 地 呈现 出 来 。 





。 检 杜 可 视 化 图 表 的 展示 是 否 正确 、 美 观 。 








。 通过 将 目标 数据 与 HDFS 数 据 进行 比较 来 检查 是 否 有 数据 “损坏 ”。 


只 要 是 针对 数据 进行 测试 ， 就 需要 考虑 数据 的 安全 性 、 完 整 性 、 一 
致 性 和 准确 性 等 ， 这 贯穿 于 数据 处 理 的 每 个 阶段 。 


。 数据 的 安全 性 是 指数 据 存 储 是 否 安 全 、 备 份 的 间隔 时 间 古 多 少 ， 以 
及 备份 的 数据 能 否 及 时 、 完 整地 得 到 恢复 。 


。 数据 的 完整 性 是 指数 据 各 个 维度 是 否 绑 凋 了 业务 全 部 特性 、 数 据 的 
记录 和 是否 丢 失 ， 以 及 茶 条 数据 是 否 有 部 分 字段 信息 丢失 等 。 














。 数据 的 一 致 性 是 指 是 否 章 循 了 统一 的 数据 规范 ， 从 源 系 统 中 提取 的 
数据 与 目标 数据 仓库 中 的 数据 之 间 ， 以 及 数据 在 ETL 过 程 中 流转 前 
后 的 逻辑 关系 是 否 正确 和 完整 ， 数 据 类 型 是 否 相 同 。 








需要 注意 的 是 ， 人 敏捷 测试 中 大 部 分 优秀 的 测试 实践 对 于 大 数据 测试 
仍然 适用 ， 如 测试 左 移 、 测 试 右 移 、 单 元 测试 、API 测 试 和 持续 集成 
攻 气 
二 于 o 


10.1.3 ”大 数据 的 测试 实践 


在 大 数据 的 测试 中 ， 为 了 提高 测试 效率 ， 在 进行 功能 测试 而 不 是 性 
能 测试 时 ， 一 般 只 选取 少量 典型 的 测试 数据 集 进行 测试 ， 即 选取 那些 能 
履 访 计算 逻辑 和 边界 场景 的 测试 数据 。 这 时 就 需要 用 到 普通 的 测试 方法 
了 ， 如 等 价 类 划分 、 边 界 值 分 析 方 法 和 组 合 测试 方法 等 。 

















人 为 构造 的 数据 无 论 是 在 分 布 形 态 还 是 异常 场景 覆盖 上 都 比 不 上 真 
实 的 生产 数据 ， 而 由 于 测试 数据 对 有 异 币 场景 的 履 凋 不 足 ， 在 系统 上 线 
后 ， 很 有 可 能 会 导致 算法 失效 或 系统 崩 演 等 严重 问题 。 如 果 可 能 的 话 ， 
那么 要 尽量 导入 真实 数据 来 进行 测试 。 因 此 ， 在 大 数据 的 性 能 测试 中 ， 
流量 回放 就 是 人 们 开始 采用 的 测试 方法 。 














大 数据 的 测试 在 测试 预言 方面 会 面临 更 大 的 挑战 ， 因 为 很 难 制定 一 
个 明确 的 判定 标准 ， 来 判断 经 过 大 数据 的 处 理 后 的 结果 是 否 正确 ， 而 且 
同时 与 人 工 智 能 的 融合 导致 算法 、 模 型 和 数据 质量 等 问题 相互 交叉， 难 
以 分 辨 。 因此， 算法 评审 、 代 码 评审 更 有 价值 ， 在 整个 EIL 处 理 过 程 中 
能 讲 清楚 、 解 释 合 理 ， 就 能 增加 我 们 对 质量 的 信心 。 最 终 是 否 正确 ， 则 
需要 实践 检验 ， 包 括 A/B 测 试 。 


大 数据 的 测试 环境 相 比 一 般 测 试 更 加 复杂 、 要 求 更 高 ， 需 要 搭建 基 


于 多 种 组 件 的 具有 多 个 节点 的 应 用 集群 。 大 数据 的 测试 环境 应 该 具备 足 
够 的 能 力 来 存储 和 处 理 大 量 的 数据 ; 另外， 测试 环境 应 该 能 够 文 持 从 单 
个 模块 的 验证 到 并 到 端的 系统 测试 。 在 大 数据 的 测试 环境 搭建 时 ， 震 要 
注意 以 下 几 点 。 


。 评估 大 数据 处 理 数据 量 的 需求 ， 佑 计 测 斌 环境 中 数据 节点 数量 需 
求 ， 分 析 大 数据 系统 中 的 所 有 软件 需求 。 





。 根据 测试 类 型 分 析 需 要 的 测试 工具 和 测试 平台 。 
。 大 数据 的 测试 环境 的 实施 与 维护 。 


在 2020 年 9 月 召开 的 全 球 软 件 质 量 & 效 能 大 会 (Quality &Efficiency 
Conference，QECon) 上 ， 来 自 科 大 讯 飞 的 测试 架构 师 分 享 了 如 何 为 公 
司 的 大 数据 平台 构建 大 数据 测试 体系 ， 主 要 解决 面 同业 务 数据 的 复杂 性 
和 快速 增长 验证 大 数据 处 理 的 正确 性 、 及 时 性 ， 大 数据 系统 的 高 可 用 
性 ， 以 及 分 析 产 物 是 否 满足 业务 需求 。 其 中 ， 在 验证 数据 结果 的 正确 性 
方面 ， 该 公司 采用 构造 测试 数据 和 真实 数据 相 结合 的 方法 ， 用 测试 数据 
验证 功能 点 ， 真 实数 据 补 充 测 试 场景 。 测 试 数据 主要 由 日 志 构 成 ， 为 了 
解决 测试 日 志 构 造 困难 、 维 护 成 本 高 等 问题 ， 形 成 了 数据 构造 自动 化 解 
决 方案 ， 通 过 拉 取 最 新 现 网 日 志 来 自动 构造 测试 日 志 并 进行 格式 转换 。 


10.1.4 大 数据 的 测试 工具 


这 里 主要 介绍 用 于 系统 架构 测试 和 数据 验证 〈ETL 测 试 ) 的 测试 工 


有 一 些 工 具 可 以 对 大 数据 系统 进行 基准 测试 benchmarking) ， 目 
的 是 评估 和 对 比 不 同 的 系统 架构 和 组 件 的 性 能 ， 从 中 选 出 满足 业务 需要 
的 方案 。 大 数据 系统 架构 测试 的 开源 基准 测试 工具 包括 HiBench、 
GridMix、APM Benchmark、CloudSuite 和 BigDataBench 等 。 这 些 工具 套 
件 支 持 人 微观 基准 (micro benchmark) 、 组 件 基准 (component 
benchmark) 和 应 用 基准 (application benchmark) 3 种 测试 集 。 微 观 基准 
测试 用 来 评估 系统 中 单个 组 件 内 部 一 个 单独 的 数据 主题 ， 组 件 基准 测试 
用 于 评估 组 件 级 别 性 能 ， 应 用 基准 测试 衡量 端 到 病 的 系统 性 能 。 


HiBench 是 英特尔 开源 的 基准 测试 套件 ， 用 于 评估 不 同 的 大 数据 框 
架 性 能 指标 〈 包 括 处 理 速度 、 吞 吐 量 和 系统 资源 利用 率 ) ， 可 以 评估 
Hadoop、Spark 和 流 式 负载 ， 提 供 了 包括 微观 负载 、 流 式 负 载 在 内 的 6 类 
典型 负载 。 





BigDataBench 包 含 了 13 个 具有 代表 性 的 真实 数据 集 和 27 个 大 数据 基 
准 ， 可 以 文 持 结构 化 、 半 结构 化 和 非 结 构 化 在 内 的 所 有 数据 类 型 ， 以 及 
不 同 的 数据 源 《〈 如 文本 、 图 像 和 音 视 频 等 ) 。 





GridMix 是 Hadoop 目 带 的 针对 Hadoop 系 统 的 基准 测试 工具 ， 用 来 评 
测 Hadoop 集 群 中 各 个 组 件 / 功 能 模块 ， 它 文 持 的 功能 包括 生成 测试 数 
据 、 提 交 MapReduce 任 务 和 统计 任务 完成 所 需 的 时 间 等 。 


常用 的 ETL 测 试 工 具 包 括 QuerySurge、RightData、Informatica Data 
Validation 和 QualiDI 等 ， 用 于 数据 的 一 致 性 、 完 整 性 等 方面 的 验证 。 


以 QuerySurge 为 例 ， 它 包括 5 个 模块 : 测试 设计 、 测 斌 计划、 测试 
执行 、 测 试 报告 和 系统 管理 ， 其 主要 功能 如 下 。 


。 支持 Oracle、Teradata、IBM、Amazon 和 Cloudera 等 各 种 大 数据 平台 
的 ETL 测 试 。 











通过 但 询问 导 快 速 创建 测试 查询 表 ， 而 不 需要 用 户 编写 任何 SQL 语 
人 句 。 


提供 一 个 包含 可 重用 碍 询 片 段 的 设计 库 ， 用 户 可 以 创建 自 定 义 碍 询 


空间 。 





将 源 文件 和 数据 存储 中 的 数据 与 目标 数据 仓库 /大 数据 存储 进行 比 
较 ， 可 在 几 分 钟 内 完成 数 百 万 行 和 列 的 数据 对 比 。 





允许 用 户 计划 测试 运行 的 触发 模式 ， 包 括 了 立即 运行 、 任 何 日 期 /时 
间 运 行 ， 或 在 茶 个 事件 结束 后 目 动 运行 。 








提供 可 共 孚 的 、 目 动 化 的 电子 邮件 报告 和 数据 运行 状况 仪表 板 。 


文 持 与 持续 交付 环境 的 集成 实现 数据 的 持续 调试 和 测试 管理 的 目 动 
化 。 


大 数据 本 身 的 特性 决定 大 数据 的 测试 非常 依赖 目 动 化 以 提高 测试 效 
率 ， 目 前 不 同 模块 和 不 同 的 测试 类 型 需要 不 同 的 测试 工具 。 在 此 基础 
上 ， 需 要 发 展 大 数据 上 自动 化 测试 平台 ， 能 够 文 持 测 试 脚本 的 开发 、 训 试 
数据 构造 、 无 监督 的 测试 执行 ， 以 及 测试 结果 的 目 动 分 析 、 发 送 和 可 视 














化 呈现 等 测试 过 程 的 管理 。 这 些 也 属于 本 书 前 面 介绍 过 的 敏捷 测试 的 优 
秀 实 践 。 


10.2 ”人工 六 能 系统 的 测试 


人 工 智能 的 测试 最 早 可 以 追溯 到 20 世 纪 50 年 代 。1950 年 ， 艾 伦 :图 
灵 在 论文 《计算 机 器 与 智能 》 (“Computing Machinery and 
Intelligence”) 中 第 一 次 提出 了 “图 灵 测 试 ”。 


图 灵 测 试 束 是 为 了 验证 该 论文 所 提出 的 “机 惕 能 够 思考 吗 ” 这 样 的 问 
题 。 假 如 某 台 机 器 “表现 得 ”和 思考 的 人 类 无 法 区 分 (这 并 不 要 求 百 分 之 
百 无 法 区 分 ， 而 只 要 有 30% 的 机 会 能 “ 骗 " 过 裁判 ) ， 那 么 就 认为 机 器 能 
够 “思考 ”。 机 器 想 通过 图 灵 测 试 ， 还 真 不 容易 。 直 到 2014 年 ， 在 英国 皇 
家 学 会 举行 的 图 灵 测 试 大 会 上 ， 聊 天 程序 Eugene Goostman 冒 充 一 个 13 
岁 的 乌克兰 男孩 骗 过 了 33% 的 评委 ， 从 而 “通过 ”了 图 灵 测 试 。 








人 工 智能 发 展 到 今天 ， 已 经 有 70 年 时 间 ， 比 软件 工程 的 历史 还 长 20 
年 。 在 经 历 了 两 次 发 展 高 潮 和 两 次 发 展 低谷 之 后 ， 人 工 智 能 进入 了 当今 
的 第 3 次 的 发 展 高 潮 。 之 所 以 人 工 智 能 能 进入 第 3 次 发 展 高 潮 ， 很 大 程度 
上 是 由 于 大 数据 的 推动 ， 因 为 有 了 数据 ， 才 能 训练 出 更 好 的 模型 。 当 
然 ， 这 也 离 不 开 当 今 发 达 的 网 络 、 成 本 低廉 的 存储 能 力 和 超 强 的 计算 能 
力 ( 如 GPU) 。 





10.2.1 人 工 智能 系统 的 不 确定 性 和 不 可 解释 性 


像 深度 神经 网 络 模型 ， 通 过 特定 数据 集训 练 出 来 的 模型 可 以 获得 相 
当 好 的 结果 ， 但 对 这 个 模型 我 们 难以 解释 ， 而 且 容 易 出 现 过 拟 合 ， 当 处 
理 新 的 数据 时 ， 其 模型 的 性 能 有 可 能 显著 下 降 ， 也 容易 被 添加 少量 随机 
噪声 的 “对 抗 ” 样 本 “其 骊 ”， 系 统 容易 出 现 高 可 信和 度 的 误 判 。 这 就 是 人 工 
智能 系统 的 不 确定 性 和 不 可 解释 性 。 

















1950 年 ， 艾 伦 :图 灵 在 《计算 机 器 与 智能 》 的 开篇 提 到 :“ 我 建议 大 
家 考虑 这 个 问题 一 一 机 器 能 思考 吗 ? ”但 是 ， 因 为 我 们 很 难 精确 地 定义 
思考 ， 所 以 图 灵 提 出 了 他 所 谓 的 “模仿 游戏 ”。 


模仿 游戏 


一 场 正常 的 模仿 游戏 有 A、B 和 C 3 人 参与 ，A 是 男性 ，B 是 女性 ， 两 
人 坐 在 房间 里 ; C 是 房间 外 的 裁判 ， 他 的 任务 是 要 判断 出 这 两 个 人 的 性 
别 。 但 是 ， 男 方 是 带 着 任务 来 的 : 他 要 欺骗 裁判 ， 让 裁判 做 出 错误 的 判 


那么 ， 图 录 问 :“ 如 果 一 台 机 器 取代 了 这 个 游戏 里 的 男方 的 地 位 ， 
那么 会 发 生 什么 ?这 台 机 器 骗 过 审问 者 的 概率 会 比 人 类 参加 时 更 高 吗 ? 
这 个 问题 取代 了 我 们 原本 的 问题 : “机 器 能 否 思考 ? ，” 


1952 年 ， 在 一 个 BBC 广播 节目 中 ， 图 元 谈 到 了 一 个 新 的 具体 想法 : 
让 计算 机 来 “冒充 "人 。 如 果 超 过 30% 的 裁判 误 以 为 在 和 自己 说 话 的 是 人 


而 非 计算 机 ， 就 算 成 功 了 了 。 从 图 灵 测 试 可 以 看 出 ， 人 工 智 能 的 系统 具有 
不 确定 性 ， 而 判断 一 个 系统 是 否 具有 人 工 智 能 ， 这 里 采用 了 一 种 概率 统 
计 的 方法 。 我 们 也 可 以 用 标准 差 、 方 差 和 烂 等 来 度量 结果 的 离散 性 或 不 
确定 性 。 














更 明确 的 人 工 智 能 的 不 确定 性 的 解释 始 于 1980 年 ， 当 时 汉 斯 : 葛 拉 
韦 克 想 知道 为 什么 人 工 镶 能 如 此 轻松 地 完成 人 类 很 难 实现 的 东西 ， 但 同 
时 却 很 难 做 到 人 类 轻而易举 做 到 的 事情 。 这 是 人 工 智 能 迟 论 ， 也 意味 着 
人 工 知 能 的 不 确定 性 。 在 机 器 学 习 中 ， 其 不 确定 性 更 加 明显 ， 表 现在 侦 
然 的 不 确定 性 (aleatoric uncertainty) 和 认 知 的 不 确定 性 (epistemic 


uncertainty) 。 








偶然 的 不 确定 性 来 源 于 数据 的 固有 噪声 、 数 据 生 成 过 程 本 身 的 随机 
性 、 输 入 数据 的 不 确定 性 等 。 许 多 时 候 ， 这 些 数据 的 固有 噪声 受 限 于 数 
据 的 采集 方法 ， 甚 至 一 些 重要 的 数据 维度 或 变量 可 能 没有 采集 。 不 能 简 
单 地 通过 收集 更 多 的 数据 而 消除 噪声 。 数 据 输入 的 不 确定 性 目 然 也 会 传 
播 到 机 器 学 习 模 型 的 预测 结果 。 假 设 有 一 个 简单 模型 时 6z， 输 入 数据 满 
足 正 态 分 布 z 一 N(0,1)， 那 么 预期 结果 y 服 从 正 态 分 布 y 一 N(0,6)， 因 此 该 
预测 分 布 的 偶然 事件 不 确定 性 可 描述 为 rc=6。 当 输入 数据 z 的 随机 结构 未 
知 时 ， 预 测 结果 的 偶然 事件 不 确定 性 将 更 难 估计 。 





认 知 的 不 确定 性 主要 体现 在 机 器 学 习 模 型 的 不 确定 性 ， 也 来 自 模型 
的 不 可 解释 性 ， 即 我 们 对 正确 模型 参数 的 未 知 程度 。 如 图 10-2 所 示 为 一 
维 数据 集 上 的 简单 的 高 斯 过 程 回 归 模 型 ， 其 中 实 线 是 预测 (prediction) 
结果 ， 虚 线 中 的 点 是 观察 (observation) 点 一 训练 数据 的 认 知 不 确定 


性 为 0， 深 色 区 域 一 95% 置 信 区 间 (confidence interval) 反映 了 认 知 的 
不 确定 性 。 不 同 于 偶然 的 不 确定 性 ， 认 知 的 不 确定 性 可 以 通过 收集 更 多 
的 数据 以 消除 模型 由 于 缺乏 知识 的 输入 区 域 而 降低 。 例 如 ， 我 们 训练 一 
个 分 辩 人 脸 和 猩猩 脸 的 机 器 学 习 模型 。 如 果 训 练 数据 都 是 一 些 正常 的 照 
片 ， 而 没有 对 这 些 照 片 进行 旋转 、 模 糊 等 处 理 ， 当 我 们 给 这 个 模型 输入 
模糊 的 人 脸 照片 、 旋 转 90° 的 猩猩 脸 照 片 时 ， 就 会 出 现 较 大 的 不 确定 

性 ， 其 置信 度 会 显著 降低 。 但 如 果 在 训练 中 增加 这 类 数据 一 一 经 旋转 、 
模糊 等 处 理 的 照片 ， 该 模型 的 认 知 的 确定 性 就 会 增加 ， 这 时 再 给 该 模型 
输入 模糊 的 人 脸 照 片 、 旋 转 90° 的 猩猩 脸 照 片 ， 不 确定 性 会 大 大 降低 。 








这 种 不 确定 性 可 以 通过 采用 集成 方法 [如 使 用 引导 聚合 (bootstrap 
aggregation) 构建 集成 模型 」 来 估计 ， 因 为 集成 方法 中 不 同 的 模型 往往 
会 揭示 出 单个 模型 特有 的 错误 。 


























图 10-2 ”高 斯 过 程 回 归 模 型 及 其 置信 区 间 











10.2.2 ”人工 智能 系统 的 白 盒 测试 





我 们 以 现在 流行 的 深度 学 习 神 经 网 络 算法 为 例 ， 并 参考 一 些 学 者 的 
论文 ， 如 《测试 深度 神经 网 络 》 (“Testing Deep Neural Networks”) ， 
来 讨论 如 何 进行 白 盒 测 试 。 深 度 神经 网 络 包含 许多 层 连接 的 节点 或 神经 
元 (neuron) ， 如 图 10-3 所 示 ， 一 个 简单 的 人 工 神 经 网 络 模型 ， 含 有 多 
层 感知 絮 。 


输入 层 隐藏 层 隐藏 层 输出 层 
N21 Ns 
VU 1 
N22 M32 
71 1 
N23 Ns3s 


图 10-3 ”简单 的 人 工 神经 网 络 模 型 示意 图 


每 个 神经 元 接受 输入 值 并 生成 输出 值 或 输出 天 量 《〈 诉 活 值 ) ， 
连接 都 有 权重 ， 每 个 神经 元 都 有 偶 差 。 根 据 输入 值 、 输 入 连 ea 
神经 元 的 偏 同 [ 偏 置 单元 (bias unit) ]， 通 过 公式 来 计算 输出 值 。 传 统 的 
履 新 紊 度量 对 于 神经 网 络 并 没有 真正 的 用 处 ， 因 为 通常 使 用 单个 测试 用 
例 即 可 达到 100% 的 语句 履 靖 率 。 因 为 缺陷 通常 隐藏 在 神经 网 络 本 刁 ， 

所 以 必须 采用 全 新 的 履 盖 率 度 量 方法 ， 可 以 概括 为 下 列 6 种 度量 方法 。 











1) 神经 元 覆盖 率 (neuron coverage) : 激活 的 神经 元 的 比例 除 以 神 
经 网 络 中 神经 元 的 总 数 ， 如 果 神 经 元 的 激活 值 超过 0， 则 认为 该 神经 元 
己 被 激活 。 


2) 六 值 履 盖 率 〈threshold coverage) : 超出 阐 值 激活 值 的 神经 元 的 
比例 除 以 神经 网 络 中 神经 元 的 总 数 ， 靖 值 介 于 0 一 1 之 间 。 


3) 符号 变更 覆盖 率 (sign change coverage) : 用 正 激活 值 和 负 激 活 
值 激活 的 神经 元 的 比例 除 以 神经 网 络 中 神经 元 的 总 数 。 激 活 值 0 被 视 为 
负 激 活 值 。 

4) 值 变更 覆盖 率 (value change coverage) : 定义 为 激活 的 神经 元 
的 比例 ， 其 中 其 激活 值 相差 超过 变化 量 除 以 神经 网 络 中 神经 元 的 总 数 。 











5) 符号 -符号 覆盖 率 (sign-sign coverage) : 如 果 可 以 显示 通过 更 
改 符号 的 每 个 神经 元 分 别 导 致 下 一 层 中 的 另 一 个 神经 元 更 改 符号 ， 而 下 
一 层 中 的 所 有 其 他 神经 元 保持 相同 〈 即 它们 不 更 改 符号 ) ， 则 可 以 实现 
一 组 测试 的 符 扎 履 盖 。 从 概念 上 来 讲 ， 此 级 别 的 神经 元 履 善 率 类 似 于 
MC/DC《 修 正 的 条 件 /判定 履 辣 ) 。 


6) 层 履 辣 率 〈]layer coverage) : 基于 神经 网 络 的 整个 层 以 及 整个 
层 中 的 神经 元 集合 的 激活 值 如 何 变 化 来 定义 测试 履 盖 率 。 





当前 还 没有 成 熟 的 商用 工具 来 文 持 神 经 网 络 的 日 盒 测 试 ， 但 有 下 列 
儿 种 实验 性 工具 。 


。 DeepXplore， 专 门 用 于 测试 深度 神经 网 络 ， 提 出 了 白 盒 差分 测试 算 
法 ， 系 统 地 生成 涵盖 网 络 中 所 有 神经 元 的 对 抗 示 例 〈 闵 值 覆 六 。 





。 DeepTest， 系 统 测 试 工具 ， 用 于 自动 检测 由 深度 神经 网 络 驱 动 的 汽 
车 驾驶 的 错误 行为 ， 文 持 深度 神经 网 络 的 符号 -符号 上 禾 兰 率 。 








。 DeepCover， 可 以 文 持 上 述 定 义 的 所 有 和 窗 盖 率 。 


10.2.3 ”人工 智能 系统 的 算法 验证 


不 同类 型 算法 的 验证 ， 其 关注 的 模型 评估 指标 不 同 ， 如 人 脸 检测 算 
法 评估 指标 主要 有 准确 率 、 精 确 率 和 召回 率 等 





用 场景 其 关注 的 算法 模型 评估 指标 也 存在 差异 
检索 场景 中 ， 不 太 关注 召回 率 ， 但 对 精确 率 要 求 高 ， 以 避免 认错 人 ;但 
在 海量 人 脸 检索 的 应 用 场景 中 ， 则 愿意 牺牲 部 分 精确 率 来 提高 召回 率 。 








。 相 同类 型 算法 在 不 同 应 
。 例 如 ， 在 高 铁 站 的 人 脸 





在 算法 验证 中 ， 还 会 有 下 列 一 些 指 标 需 要 验证 。 


。 受 试 者 操作 特征 曲线 〈receiver operating characteristic curve，ROC 
曲线 ) ， 以 真 阳性 概率 (true positive rate，TPR ) 为 纵 轴 、 假 阳性 
概率 〈false positive rate，FPR ) 为 横 轴 构成 坐标 图 ， 它 反映 敏感 性 
和 特异 性 连续 变化 的 综合 指标 ， 其 上 每 个 点 反映 出 对 同一 信号 刺激 
的 敏感 性 ， 适 用 于 评估 分 类 器 的 整体 性 能 ， 如 图 10-4 所 示 。 


) 


真 阳 性 概率 ( % 
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图 10-4 ”ROC 曲线 示意 图 


e。 AUC (area under the curve) 是 ROC 曲 线 的 面积 ， 用 于 街 


问题 ?机 需 学 习 算 法 性 能 〈 泛 化 能 力 ) 。 


量 "一 分 类 


。 了 P-R 〈precision-recall ) 曲线 用 来 衡量 分 类 器 性 能 的 优 务 ， 如 图 10-5 


所 示 。 








。 Kappa 系 数 : 度量 分 类 结果 一 致 性 的 统计 量 ， 是 度量 分 类 需 性 能 稳 
定性 的 依据 。Kappa 系 数值 越 大 ， 分 类 需 性 能 越 稳定 。 


准确 过 


其 中 : 





起 于 模型 | 的 准确 率 和 召回 率 曲 线 





MobileNet SSD 
一 一 InceptionV2 SSD 
一 一 FasterR-CNN 

ResNet50 


一 一 FasterR-CNN 
ResNet101 





召回 率 





图 10-5”P-R 曲 线 示意 图 


。 真 阳性 概率 (TPR ) = TP/(TP+FN); 


。 假 阳性 概率 (FPR) = FP/(TN+FP)。 


式 中 右 侧 各 项 的 说 明 如 下 。 


TP (true positive) ， 预 测 类 别 是 正 例 ， 真 实 类 别 是 正 例 。 


FP〈false positive) ， 预 测 类 别 是 正 例 ， 真 实 类 别 是 反例 。 


TN (true negative〉， 预 测 类 别 是 反例 ， 真 实 类 别 是 反例 。 


FN (false negative) ， 预 测 类 别 是 反例 ， 真 实 类 别 是 正 例 。 


预测 值 与 真实 值 相同 ， 记 为 T (true) 。 


预测 值 与 真实 值 相反 ， 记 为 F (false)。 


预测 值 为 正 例 ， 记 为 P (positive》。 


预测 值 为 反例 ， 记 为 N Cnegative) 。 


算法 测试 的 核心 是 对 机 器 学 习 模 型 的 泛 化 误 兰 进行 评估 ， 为 此 使 用 
数据 测试 集 来 测试 学 习 模 型 对 新 样本 的 差别 能 力 ， 即 以 测试 数据 集 上 的 
测试 误差 作为 泛 化 误差 的 近似 。 测 斌 人员 使 用 的 测试 数据 集 只 能 尽 可 能 
地 乾 关 正式 环境 用 户 产 生 的 数据 情况 ， 发 现 学 习 模 型 的 性 能 下 降 、 准 确 


率 下 降 等 问题 。 








如 何 选取 或 设计 合适 的 测试 数据 集 将 成 为 算法 验证 的 关键 ,一 般 要 
遵循 下 列 3 个 原则 。 


1) 根据 场景 思考 真实 的 数据 情况 ， 倒 推测 试 数 据 集 。 例 如 ， 需 要 





考虑 模型 评价 指标 、 算 法 的 实现 方式 、 算 法 外 的 业务 逻辑 、 模 型 的 输入 
和 输出 ， 以 及 训练 数据 的 分 布 情况 等 。 


2) 测试 数据 集 独 立 分 布 。 开 发 人 员 选 择 一 个 数据 集 ， 会 分 为 训练 
数据 集 和 验证 数据 集 ， 而 测试 集 不 能 来 自 开 发 人 员 选 择 的 数据 集 ， 而 应 
该 独立 去 收集 或 获取 一 个 全 新 的 数据 集 ， 这 就 是 我 们 通 音 所 说 的 机 需 学 
习 需 要 3 个 数据 集 。 


3) 测试 数据 的 数量 和 训练 数据 的 比例 合理 ， 如 果 拥 有 上 百 万 条 数 
据 ， 那 么 只 需要 1000 条 数据 ， 便 足以 评估 单个 分 类 器 ， 并 且 准 确 评 佑 该 
分 类 需 的 性 能 。 如 果 和 觉得 还 不 够 ， 那 么 可 以 选择 1 万 条 数据 作为 测试 
集 。 








除 上 述 算法 模型 评估 指标 以 外 ， 我 们 还 第 用 ROC 曲 线 、P-R 曲 线 来 
衡量 算法 模型 效果 的 好 坏 。 


10.2.4 案例: 针对 智能 语音 的 设计 与 执行 


这 个 案例 依据 软件 绿色 联盟 标准 评测 组 颁布 的 《手机 智能 语音 交互 
测试 标准 》， 摘 取 要 点 改编 而 成 。 








智能 语音 技术 是 研究 人 与 计算 机 直接 以 自然 语言 的 方式 进行 有 效 沟 
通 的 各 种 理论 和 方法 ， 涉 及 机 器 翻译 、 阅 读 理解 和 对 话 问 答 等 ， 应 用 到 
声 纹 识别 、 语 音 识别 和 自然 语言 处 理 等 核心 的 人 工 智能 技术 。 其 中 声 纹 
识别 技术 是 根据 语音 波形 中 反映 说 话 人 生理 和 行为 特征 的 语音 参数 ， 来 





识别 语音 说 话 者 号 份 的 撤 术 。 语 音 识别 技术 可 赋予 机 器 感知 能 力 ， 将 声 
音 转 为 文字 供 机 器 处 理 ， 在 机 器 生成 语言 之 后 ， 语 音 合成 技术 可 将 语言 
转化 为 声音 ， 形 成 完整 的 自然人 机 语音 交互 ， 这 样 的 语音 交互 系统 可 看 
作 一 个 虚拟 对 话机 器 人 。 





其 业务 逻辑 如 图 10-6 所 示 。 首 先 ， 用 户 唤醒 设备 ， 然 后 通过 语音 进 
行人 机 对 话 交 流 ;， 产品 进行 语音 识别 后 ， 进 行 一 系列 的 处 理 来 获得 相应 
的 结果 和 服务 ， 并 给 予 用 户 反 馈 。 用 户 在 不 断 的 交互 中 获得 反馈 并 更 新 
对 产品 的 认 知 ， 同 时 产品 在 不 断 的 交互 中 更 新 自己 的 知识 使 得 系统 更 加 

能 


知 








O 








目前 智能 语音 交互 技术 广泛 应 用 在 手机 上 ， 手 机 智能 语音 是 指 将 现 
有 语音 识别 、 语 音 合 成 和 语义 理解 等 智能 语音 语义 技术 应 用 于 手机 终端 
的 功能 体现 。 语 音 唤醒 是 激发 整个 语音 交互 的 开始 ， 这 一 功能 己 成 为 手 
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根据 手机 语音 系统 的 服务 对 象 和 内 容 ， 我 们 定义 智能 语音 系统 评测 
模型 从 唤醒 服务 、 对 话 服务 和 其 他 功能 3 个 维度 评估 智能 语音 系统 ， 其 


中 对 话 服务 的 质量 最 为 重要 。 唤 醒 服 务 、 对 话 服务 和 其 他 功能 的 权重 分 
别 为 15%6、70% 和 159%， 见 表 10-2。 





表 10-2 ”智能 语音 系统 评测 模型 的 3 个 维度 的 权重 及 说 明 








评测 
维度 











包含 听 清 、 听 懂 和 应 答 ， 是 手机 智 傅 
的 功能 ， 拥 有 语音 领域 相关 的 技术 























包含 端 侧 语 音 能 力 、 三 方 技能 和 上 自 定义 技能 3 个 





将 唤醒 服务 得 分 、 对 话 服务 得 分 和 其 他 功能 得 分 累计 ， 总 分 为 1000 
分 ， 并 根据 智能 化 程度 ， 将 其 分 为 L1~L5 共 5 个 等 级 ， 每 个 等 级 的 分 数 
范围 (实际 得 分 按 满分 1000 分 折算 ) 见 表 10-3。 通 过 对 各 个 指标 项 的 专 
业 评 测 ， 最 终 确 定 对 应 的 等 级 。 


表 10-3 智能 化 程度 等 级 定义 











示例 :分数 范 围 














(600,700] 
(700,800] 








(800,900] 
(900,1000] 


以 唤醒 服务 评价 为 例 ， 唤 醒 的 各 项 技术 指标 反映 到 用 户 整体 体验 的 
影响 ， 对 每 一 个 用 户 按 表 10-4 打 分 








表 10-4 唤醒 服务 打分 方式 


日 二 已 不 二 妆 
0 区 (总 分 | 指标 区 间 打分 方式 
值 


op 屏幕 





唤醒 时 延 “20% 30 二 从 用 户 说 完 话 到 屏幕 


ee 
亮 起 





precision x recall 





“82x prt cision 十 recall 


1 的 物理 意义 就 是 将 准确 率 (precision〉 和 召回 率 (recall〉 这 两 个 
分 值 合并 为 一 个 分 值 ， 在 合并 的 过 程 中 ， 召 回 率 的 权重 是 准确 率 的 ? 
音 。 其 中 ?=1 时 ( 即 握 ) 是 指 唤醒 准确 率 和 唤醒 召回 率 一 样 重 要 ; 其 中 





=2 时 〈 即 f2) 是 指 唤醒 召回 率 是 唤醒 准确 率 权 重 的 一 倍 ; 其 中 2=0.5 时 
《 即 Zo5) 是 指 唤醒 准确 率 是 唤醒 召回 率 权 重 的 一 倍 ; 标准 中 采用 所 2 值 
来 衡量 唤醒 性 能 的 优 务 。 在 唤醒 业务 评测 时 ， 测 试 人 数 大 于 50 人 。 


唤 查 人 识 是 指 通 过 多 人 多 轮 次 唤醒 ， 唤 醒 成 功 的 概率 。 测 试 时 需要 使 
用 不 同 用 户 进行 多 次 唤醒 测试 。 判 定 标准 如 下 。 


测试 集 唤醒 语音 句 数 为 Y， 假 设 成 功 唤 醒 句 数 为 捷 ， 则 唤醒 率 = 五 /V 
x1009%6。 


唤醒 时 延 是 评价 语音 唤醒 的 响应 速度 的 指标 ， 以 时 延 计算 。 判 定 标 
准 如 下 。 


。 将 用 户 说 完 唤醒 词 的 最 后 一 个 字 的 时 刻 点 记 为 1。 








。 将 手机 有 声音 反馈 《提示 音 或 人 声 播报 ) 的 时 刻 点 记 为 刀 。 





。 将 手机 屏幕 点 亮 的 时 刻 点 记 为 妇 。 
。 将 进入 收 首 状态 的 时 刻 点 记 为 {4。 
那么 ， 唤 醒 时 延 取 mintt 节 ) 一 菇 ， 一 般 来 说 ， 更 多 以 t2 一 妇 为 准 。 


测试 方法 ， 将 录制 好 的 原始 人 声 与 环境 噪声 在 试验 室 中 配套 播放 出 
来 ， 根 据 期 望 的 结果 判定 结果 是 否 正确 ， 并 根据 指标 要 求 进行 记录 与 统 
计 。 人 声 由 发 声 设备 发 出 ， 环 境 噪声 由 噪声 设备 发 出 ， 通 过 放置 可 控 机 
械 支 架 ， 任 意 调 整 手 机 与 人 工头 语音 嘴 的 距离 和 角度 。 


1) 发 声 设备 。 人 工头 语音 嘴 可 通过 设置 ， 模 拟 出 喉 呢 、 中 、 天 和 
口 用 对 应 发 出 的 声音 ， 人 工头 语音 中 发 声 系统 如 图 10-7 所 示 。 
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图 10-7 ”人 工头 语音 踢 发 声 系统 样 图 


2) 噪声 设备 。8 个 喇叭 360" 环 绕 人 工头 ， 播 放 各 方向 的 噪声 ， 如 图 
10-8 所 示 。 





全 消 声 室 蓝牙 适配器 














图 10-8 实验 室 8 喇叭 环绕 测试 示意 图 
3) 评测 数据 。 在 收集 语音 声 源 时 ， 需 要 考虑 的 因素 包括 男女 比例 


应 为 1 : 1、 不 同年 龄 段 的 人 群 比例 要 一 致 和 不 同 地 区 的 口音 占 比 要 适 
当 ; 在 语 速 方面 ， 以 中 速 为 主 〈200 一 250 字 /分 钟 ) ， 且 兼顾 慢 速 和 快 








速 ; 在 语音 的 流畅 性 方面 ， 以 流畅 为 主 ， 兼 顾 拖 首 、 停 顿 和 重复 等 类 


4) 语音 环境 。 在 手机 场景 下 ， 重 点 考 感 卧室、 客厅、 车载 和 办 公 
室 等 环境 。 综 合 测 试 场景 设计 见 表 10-5。 








表 10-5 ”综合 测试 场景 








外 噪声 强度 


小 于 40dB 


家 居 场 景 之 臣 


家 居 场 景 之 时 
ee - 小 于 40dB 


家 居 场 景 之 客 
斤 


车 载 场景 
静 ) 





车 载 场景 
静 ) 





车 载 场景 ( 音 |60 ( 含 ) 一 65 ( 含 ) 一 
环绕 “|45cm |45° 加 音乐 
乐 ) 80dB 80dB 





10.3 人工 智能 助力 敏捷 测试 











束 目 前 的 情况 来 看 ， 无 论 是 手工 的 探索 式 测 试 还 是 基于 机 器 的 目 动 
化 测试 ， 都 有 其 局 限 性 ， 还 不 能 达到 “ 质 效 合 一 "。 特 别 是 大 多 数 自动 化 
测试 ， 不 是 真正 的 自动 化 测试 ， 而 是 半自动 化 测试 ， 测 试 脚本 还 需要 人 
来 编写 和 维护 。 故 外， 发 现 缺 陷 的 能 力 不 够 强 也 是 事实 。 而 且 ， 无 论 是 
目 动 化 测试 还 是 手工 测试 ， 痢 面临 对 业务 逻辑 、 应 用 场景 考虑 不 全 的 问 
题 。 系 统 越 复 杂 ， 测 试 应 该 达到 的 乾 凋 率 和 实际 的 履 兰 率 的 差距 就 越 
大 。 目 前 ， 这 些 问题 借助 人 工 智能 也 许 能 得 到 解决 。 








10.3.1 基于 图 像 识 别 技术 的 UI 测试 


在 面 加 UI 的 自动 化 测试 中 ， 识 别 个 性 化 控件 、 模 拟 用 户 行为 及 对 校 
验 屏 幕 显示 结果 币 利 成 为 目 动 化 测试 的 瓶颈 ， 而 且 通 常 依赖 测试 人 员 的 
参与 ， 耗 费 比 较 多 的 时 间 。 目 然而 然 ， 人 们 想到 借助 图 像 识别 技术 来 打 
人 破 这 个 瓶颈， 目 动 识别 UI 元 系 、 模 拟 用 户 行为 和 匹配 屏幕 区 域 以 校 验 真 
实 的 视觉 显 示 结 果 等 。 





CR 





1. 图像 匹 配 的 算法 实现 


简单 的 方法 是 根据 图 片 的 散 列 值 来 查找 相似 图 片 。 各 种 散 列 算法 
(aHash、pHash、wHash 和 dHash 等 ) 的 原理 很 相似 ， 如 均值 散 列 算法 
Caverage Hash algorithm，aHash〉 是 先 将 图 片 缩放 到 特定 大 小 ， 然 后 进 
行 灰 度 化 并 计算 所 有 点 的 颜色 深度 均值 ， 用 0 表示 小 于 均值 ， 用 1 表示 高 
于 均值 ， 于 是 得 到 一 个 元 素 都 是 0 或 1 的 散 列 数列 ， 再 计算 两 个 矩阵 的 汉 
明 距 离 ， 值 越 大 越 不 相似 ， 值 越 小 越 相 似 。 











第 2 种 方法 是 模板 匹配 (match template) 方法 ， 它 是 一 种 最 具 代 表 
性 的 图 像 识 别 方法 。 在 待 识别 的 大 图 中 滑动 (每 次 从 左 向 右 或 者 从 上 癌 
下 移动 1 个 像素 ) 小 图 〈 即 模板 T) 进行 匹配 ， 最 终 找到 最 佳 匹配 。 
OpenCV 文 持 多 种 匹配 算法 ， 如 平方 差 匹配 〈CV_TM_SQDIFF) 、 标 准 
平方 差 匹 配 〈CV_TM_SQDIFF NORMED ) 、 相 关 匹 配 

(CV_TM_CCORR) 和 标准 相关 匹配 (CV_TM_CCORR_NORMED) 
等 。 上 述 算法 依次 变 得 复杂 ， 得 到 的 结果 是 越 来 越 好 ， 计 算 量 也 会 越 来 
越 大 。 但 在 实际 测试 中 发 现 ， 这 几 个 匹配 算法 速度 差别 不 大 ， 如 果 没 有 
特殊 需求 ， 一 般 直 接 使 用 标准 相关 匹配 算法 即 可 。 








模板 匹配 方法 要 求 大 图 和 小 图 的 方 癌 必须 一 致 ， 而 且 一 定 会 返回 一 
个 最 佳 匹 配 ， 其 返回 值 范围 为 -1 一 L。 根 据 模板 匹配 方法 的 返回 值 ， 很 
难 确 定 匹 配 度 是 多 少 ， 即 不 能 确定 目标 图 像 中 是 否 存 在 模板 图 像 。 








第 3 种 方法 是 特征 识别 算法 ， 它 基于 第 2 种 方法 的 思路 :在 识别 物体 
时 ， 人 眼 会 根据 图 像 的 局 部 特征 来 判断 整体 ， 如 图 像 的 边缘 轮廓 、 角 和 


斑点 等 。 针 对 不 同 的 特征 形态 ， 有 很 多 不 同 的 特征 检测 算法 ， 但 常用 的 
特征 检测 算法 有 SIFT、SURFE、OBR、BRISK 和 AKAZE 和 等。 下面 简单 介 
绍 一 下 前 3 种 算法 。 


1) SIFT (scale-invariant feature transform， 尺 度 不 变 特 征 变 换 ) 是 
一 种 计算 机 视觉 的 局 部 特征 提取 算法 。 它 根据 不 同 尺度 下 的 高 斯 模糊 化 
图 像 差 异 (difference of Gaussian，DoG ) 来 寻找 局 部 极 值 ， 并 借助 关键 
点 附近 像素 的 信息 、 关 键 点 的 尺寸 、 关 键 点 的 主 曲 率 来 定位 各 个 关键 
点 ， 借 此 消除 位 于 边 上 或 易 受 噪声 干扰 的 关键 点 。 为 了 使 描述 符 具 有 旋 
转 不 变性 ， 需 要 利用 图 像 的 局 部 特征 为 每 一 个 关键 点 分 配 一 个 基准 方 
问 。SIFT 算 法 所 查找 到 的 关键 点 是 一 些 十 分 突出 且 不 会 因 光 照 、 仿 射 变 
换 和 噪声 等 因 际 而 变化 的 点 ， 如 角 上 点、 边缘 点 、 蜡 区 的 亮点 及 亮 区 的 暗 
二 加 











2) SURF (speeded up robust feature， 加 速 稳健 特征 ) 是 一 种 稳健 
的 图 像 识别 和 描述 算法 ， 可 以 理解 为 SIFT 的 提速 变种 。SURF 算 法 步骤 
与 SIFET 算 法 大 致 相同 ， 但 SUREF 算 法 使 用 海 森 矩阵 的 行列 式 值 做 特征 点 
检测 并 用 积分 图 加 速 运算 。 


3) ORB (oriented FAST and rotated BRIEF， 基 于 FAST 和 旋转 的 
BRIEF) 是 基于 FAST 特 征 检测 和 BRIEF (binary robust independent 
elementary features， 二 进 制 鲁 棒 独 立 的 基本 特征 ) 描述 的 特征 检测 算 
法 ， 其 计算 速度 远 远 高 于 SIFT 和 SURF， 不 但 具有 尺度 和 旋转 不 变性 ， 
而 且 对 噪声 及 其 透视 变换 也 具有 不 变性 。ORB 算 法 可 应 用 于 实时 特征 检 
测 ， 应 用 场景 十 分 广泛 。 











在 下 面 的 代码 示例 中 ， 采 用 SURF 算 法 来 识别 图 像 的 关键 点 ， 并 绘 
制 、 显 示 这 些 已 识别 的 关键 点 。 


from feature import print function 
import cv2 as cv 

import numpy as np 

import argparse 


parser = argparse.ArgumentParser(description='Code for Feature Detection 七 
uorial.') 

parser.add argument('--input', help='Path to input image.', default="'box.p 
ng') 

args = parser.parse args() 


src = cv.imread(cv.samples.findFile(args.input), cv.IMREAD GRAYSCALE) 
if src is None: 
print('Could not open or find the image:', arg.input) 


exit(06) 


#-- Step 1: Detect the keypoints using SURF Detector 

minHessian = 466 

detector = cv.xfeatures2d SURF.create(hessianThreshold=minHessian) 
keypoints = detector.detect(src) 


#-- Draw keypoints 
img keypoints = np.empty((src.shape[®8],src.shape[1],3),dtype=np.uint8) 
cv.drawKeypoints(src,keypoints, img keypoints) 


#--Show detected (drawn) keypoints 
CV.imshow('SURF Keypoints', img keypoints) 





cv.waitkey() 


在 box.png 中 识别 出 的 关键 点 如 图 10-9 所 示 。 


x (vw) Keypoints 1 








图 10-9 ”在 box.png 中 识别 出 的 关键 点 





特征 匹配 算法 可 以 采用 OpenCV 提 供 的 两 种 算法 : Brute-Force 和 
FLANN 匹 配 算法 ， 即 分 别 对 应 BFMatcher (Brute-Force Matcher) 和 
FlannBasedMatcher。Brute-Force 是 一 种 暴力 破解 算法 ， 总 是 尝试 所 有 可 
能 的 匹配 ， 从 而 找到 最 佳 匹配 。 而 FLANN (fast library for approximate 
nearest neighbors， 人 快速 最 近邻 逼近 搜索 库 ) 是 一 种 找到 相对 准确 的 匹配 
但 不 是 最 佳 匹 配 的 快速 算法 。 


具体 内 容 可 以 参考 : OpenCV 官 网 的 “OpenCV Tutorials”。 


2. 第 见 的 基于 图 像 识别 的 工具 





基于 图 像 识 别 的 自动 化 测试 工具 比较 多 ， 包 括 开源 工具 、 商 用 工具 
和 自己 研发 的 工具 ， 其 中 开源 工具 有 SikuliX、Airtest 等 ， 商 用 工具 有 
Applitool、Eggplant 等 。 这 里 简单 介绍 一 下 SikuliX 和 Airtest 这 两 款 开源 
工 其 。 


SikuliXx 始 于 2009 年 ， 原 属于 麻 省 理工 学 院 用 户 界 面 设计 小 组 的 一 个 
开源 研究 项 目 ， 直 到 2012 年 由 RaiMan 接 管 开 发 和 文 持 并 将 其 命名 为 


SikuliX。 


SikuliX 使 用 OpenCV 提 供 的 图 像 识 别 功能 来 识别 GUI 组 件 ， 实 现 屏 
幕 上 定位 图 像 元 素 ， 基 于 鼠标 和 键盘 来 与 标识 的 GUI 元 系 进 行 交 互 ， 并 
珊 有 基本 文本 识别 〈OCR) ， 可 用 于 在 图 像 中 搜索 文本 ， 从 而 帮助 开发 
人 员 较 好 地 完成 基于 UI 交互 的 测试 工作 ， 如 图 10-10 所 示 。 由 于 采用 Java 
开发 ， 因 此 它 可 以 运行 在 Windows、macOS 和 Linux 等 平台 上 ， 并 支持 多 
种 脚本 语言 ， 如 Python 2.7〈 由 Jython 文 持 ) 、Ruby 1.9 和 Ruby 2.0〈 由 
JRuby 支 持 ) ， 以 及 JavaScript (由 Java 脚 本 引擎 支持 ) 等 。 

















O00 SikulixIDE-2.0.4 - /Users/Kerry/Desktop/test.sikuli/test1.py 
DR | 一 一 

有 生生 严 庆 国生 用， 二 | pb Pp 
屏幕 截图 插入 图 片 Region Location Offset Show Show in 运行 逐步 运行 
“testl.py DD 

f.findAll(img) # find a 


result = findAll( > ) 
liresult.hasNext() # Tru Falst 
result.next() 区 1 


result = findAllList( @| # equivalent to ff 
16 result = getAll( ) # short 
@17 result = findAllByRow() # sorted a 


[error] script [ test1 ] stopped with error in Line 17 
[error] TypeError ( findAllByRow(): expected 1 args; got 0 ) 








[error] —— Traceback —-— error source first 

line: module ( function ) statement 

17: main ( <module> ) result = findAllByRow() # sorted along rows 

[error] —— Traceback 一 - end 一 -一 一 一 

SikulixIDE-2.0.4 (ython) | R: 17 | C: 1 


图 10-10 ”SikuliX IDE 及 其 脚本 运行 截图 


Airtest 是 由 网 易 团队 开源 的 跨 平 台 的 、 基 于 图 像 识 别 的 UI 自动 化 测 


试 框 架 ， 适 用 于 游戏 和 App 的 测试 ， 文 持平 台 有 Windows、Android 和 
iOS。 如 图 10-11 所 示 是 Airtest IDE 界 面 截图 。Airtest 使 用 connect_device 
来 连接 任意 Android/iOS 设 备 或 者 Windows 窗 口 ， 并 使 用 其 API (如 
touch、Sswipe、text、keyevent、snapshot 和 wait 等 ) 来 模拟 操作 以 完成 目 
动 化 测试 。Airtest 提 供 了 如 assert_exists、assert_not_exists、assert_equal 
和 assert_not_equal 等 断言 方法 ， 最 终生 成 .air 脚 本 ， 可 以 将 一 些 通用 的 
操作 写 在 某 个 .air 脚 本 里 ， 然 后 在 其 他 脚本 中 导入 (import) 它 ， 完 

成 .air 脚 本 之 间 的 调用 。 通 过 命令 行 方式 可 以 脱离 IDE， 这 样 就 可 以 在 不 
同 的 手机 平台 或 窒 主 机 器 上 运行 脚本 ， 如 下 所 示 。 





> airtest run "path to your .air dir" --device Android://adbhost:adbport/s 
erialno 





> airtest run "path to your .air dir" --device Windows:///?title re=Unity.* 


最 终 通过 Airtest Report 生 成 测试 报告 。 


jrtest IDE v1.2.5 ~~ /var/tolders/83/zn7qp06s379cI3Nx998zsm80000gn/T/AirtestiDE/Scripts/ 


Select Window Search Window 





号 OS App Connection 


10-11 Airtest IDE 界 面 截图 


10.3.2 基于 人 工 智 能 的 、 全 自动 化 的 接口 测试 


对 于 UI 自动 化 测试 ， 接 口 测 试 确实 具备 更 大 的 优势 ， 基 本 能 实现 
100% 的 自动 化 测试 。 而 且 随 着 SOA 架 构 、 微 服务 架构 的 流行 ， 面 向 接 
口 的 实现 越 来 越 多 ， 也 就 意味 厦大 量 的 单元 测试 、 系 统 测 试 都 可 以 借助 
接口 测试 来 实现 ， 因 此 ， 做 好 接口 测试 的 自动 化 已 成 为 许多 团队 的 当 务 
< 





之 前 ， 人 们 会 采用 JMeter、Postman、SoapUI 和 Rest-Assured 等 工具 
进行 接口 测试 ， 但 接口 的 参数 分 析 、 测 斌 数据 生成 和 编写 测试 脚本 等 工 
作 主 要 靠 手 工 进行 ， 接 口 测 试 的 工作 量 依旧 很 大 。 如 果 借 助人 工 智 能 技 
术 ， 那 么 是 不 是 接口 测试 可 以 实现 全 上 自动 方式 ? 虽然 现在 不 能 给 予 完全 
肯定 的 答复 ， 但 是 一 些 学 者 的 研究 已 经 显示 这 种 可 能 性 越 来 越 大 ， 并 有 
信心 在 未 来 可 以 达到 全 自动 化 的 接口 测试 。 














如 朵 要 实现 全 目 动 的 接口 测试 ， 那 么 要 完成 下 列 主要 工作 。 


。 借助 知识 图 谱 搁 术 ， 定 义 应 用 领域 的 数据 模型 ， 含 数据 实体 及 其 操 
作 。 


。 借助 自然 语言 处 理 技术 ， 对 接口 文档 进行 语义 分 析 ， 以 及 基于 规则 
的 测试 断言 推理 。 








。 借助 测试 设计 方法 、 人 工 智 能 算法 ， 可 以 完成 约束 依赖 性 分 析 、 生 
成 接口 参数 的 测试 数据 ， 以 及 完成 基于 搜索 的 测试 优化 等 。 


1. 领域 数据 模型 


引入 知识 图 谱 技 术 一 一 基于 语义 的 知识 表达 技术 《〈 见 图 10-12) ， 
定义 应 用 领域 的 、 统 一 的 数据 模型 ， 从 而 能 够 正确 地 理解 应 用 领域 的 数 
据 语 义 ， 因 为 接口 定义 中 的 数据 不 是 简单 的 字符 串 ， 而 是 包含 了 大 量 的 
领域 知识 。 例 如 ， 在 航班 查询 接口 中 所 定义 的 参数 有 航班 号 、 出 发 日 
期 、 出 发 城市 和 抵达 城市 等 ， 航 班 号 固定 ， 而 出 发 日 期 可 以 选择 ， 出 发 
城市 和 抵达 城市 可 以 互 换 。 甚 至 ， 从 测试 角度 来 看 ， 如 果 出 发 城市 和 抵 
达 城 市 是 同一 个 值 ， 会 出 现 什么 情况 。 








领域 数据 模型 可 以 分 为 两 部 分 : 一 部 分 是 数据 的 实体 及 其 之 间 的 关 
系 ， 其 定义 了 数据 类 型 、 数 据 之 间 关 系 ( 语 义 关 联 关系 ) 和 数据 的 约束 
条 件 等 ， 忆 一 部 分 是 对 数据 可 能 的 操作 《〈 功 能) ， 以 及 描述 操作 的 输 
入 /输出 参数 、 运 行 环 境 变 量 和 系统 状态 参数 等 数据 信息 。 其 中 约束 条 
件 分 为 两 类 : 一 类 是 针对 单独 数据 属性 定义 的 简单 约束 条 件 ， 包 括 取 值 
范围 以 及 所 有 取 值 、 部 分 取 值 或 是 至 少 有 一 个 取 值 来 目 于 指定 的 类 的 实 
例 ， 夯 一 类 是 针对 多 数据 多 属性 之 间 关 系 的 复杂 约束 条 件 ， 包 括 同一 数 
据 不 同属 性 之 间 的 约束 关系 (如 酒店 剩余 客房 数 小 于 或 等 于 总 客房 
数 ) 、 不 同 数 据 的 属性 之 间 的 约束 关系 (如 同一 城市 的 酒店 名 称 不 能 相 
同 》。 
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图 10-12 ”知识 图 谱 表 示 方 法 〈 元 组 、 资 源 定 义 ) 


领域 数据 模型 将 领域 知识 和 操作 知识 区 分 开 ， 有 利于 形成 稳定 的 、 
结构 民 好 的 基本 数据 模型 ， 容 易 被 复 用 ， 而 操作 知识 是 动态 的 ， 相 对 灵 
活 ， 可 以 更 好 地 适应 需求 变更 。 


2. 接口 文档 分 析 


借助 自然 语言 处 理 技术 ， 针 对 接口 文档 进行 语义 分 析 。 首 先 分 离 出 
每 一 个 接口 的 名 称 、 输 入 参数 、 输 出 参数 和 异常 信息 等 信息 ， 然 后 基于 
上 述 领域 数据 模型 ， 生 成 接口 的 揣 约 模型 ， 定 义 每 个 接口 的 功能 、 输 
入 /输出 参数 ,以 及 数据 之 间 的 依赖 关系 ， 如 图 10-13 所 示 。 








<process;process> 
- <process:Atomicprocess rdf:ID="update_Flightinfo_| 本 > 
+ <process:hasOutput rdf:resource="#return_code” 
+ <process;hasInput rdf:resource="#usSername"> 
+ <process:hasInput rdf:resource= "条 password"> 
- <process:hasInput rdf:resource="#flight"> 
<process:parameterType 
| rdf:datatype=" tte 1 fl = PE /XMLSehemat#anyURI" >http: / /me Pr 本 
sem /Ontology1351735924. oierlightinto process: parameterType> 
</process: i 
</process:Atomicproces: a 
</process:process> -一 -一 














<owl:Class rdf:ID="FlightInfo"> <owl:Class rdf:ID="FlightNumber"> 
。 < arp D> - <rdfs:subClassof> 
estricti -~ <owl:Class> 
se onpr pa er resource="#flightNumber"/> ~ <owl:oneOf rdf:parseType="Collection"> 
= Sep allvaluesFrom <FlightNumber rdf:ID="FN-003"/> 
owl:Class rdf: ID= ‘FlightNumber) #> 一 一 -~.、 <FlightNumber rdf:ID="FN-002"/> 
a allvaluesFro! es <FlightNumber rdf:ID="XN-767"/> 
<owl:cardinality py Gat "http: / /Bs .ee <FlightNumber rdf:ID="XN-787"/> 
2001/XMLSchema#int"> 1</owl:cardinality > <FlightNumber rdf:ID="XN-737"/> 
</owl:Restriction> <FlightNumber rdf:ID="FN-001"/> 
</rdfs:subClassOf> </owl:oneOf> 
+ <rdfs:subClassOf> </owl:Class> 
Ye </rdfs:subClassOf> 


</owl:Class> 

















图 10-13 ”接口 参数 定义 及 其 依赖 关系 











契约 模型 一 般 采 用 基于 谓词 逻辑 表达 的 规则 语言 ， 并 能 为 接口 调用 
(甚至 接口 调用 链 ) 提供 所 需 的 场景 信息 ， 包 括 相应 场景 下 的 预期 结 
果 。 预 期 结果 采用 基于 规则 的 测试 断言 推理 技术 来 实现 。 





接口 文档 分 析 的 前 提 古 接口 文档 比较 规范 ， 具 体操 作 可 参考 相关 的 
文档 。 





3. 生成 测试 数据 


如 采 接 口 输入 参数 不 存在 约束 条 件 ， 那 么 数据 的 生成 束 很 简单 ， 可 
以 根据 数据 类 型 〈 整 型 、 实 型 和 枚 举 型 等 ) 采用 等 价 类 划分 方法 、 边 界 
值 方法 来 生成 测试 数据 。 如 果 有 多 个 参数 ， 而 且 这 些 参数 之 间 存 在 着 一 
定 的 依赖 关系 ， 那 么 需要 使 用 组 合 测试 技术 ， 此 时 可 以 采用 基于 搜索 的 
算法 ， 如 IOG 算 法 ， 完 成 组 合 的 选择 和 优化 。 








但 如 上 所 述 ， 接 口 输入 参数 一 般 会 存在 约束 条 件 ， 这 就 需要 构造 满 
足 约束 条 件 的 目标 函数 ， 并 确定 目标 是 什么 。 例 如 ， 根 据 约 束 条 件 的 参 
数 取 值 的 欧式 距离 达到 最 大 还 是 最 小 ， 指 导 下 一 步 的 搜索 方向 。 这 样 在 
给 定 一 组 归 一 化 之 后 的 初始 数据 后 ， 利 用 目前 已 经 成 熟 的 搜索 算法 
G“ 砍 山 ?算法 、 模 拟 退 火 算法 、 遗 传 算法 和 蚁 群 算法 等 ) 来 进行 迭代 ， 
如 图 10-14 所 示 ， 从 而 生成 测试 数据 。 








遗传 算法 主要 参数 : Gre ) 
群体 规模 六 Ce ) 
变 咕 要 这 [BR 对 染色 体 种 群 
: , 染色 休 
\ 数据 预 处 理 人 


ne 原始 染色 体 
初始 数据 -- 种群 





























选择 、 交 叉 和 变异 计算 





图 10-14 ”遗传 算法 示意 图 


10.3.3” 人工 智能 助力 代码 深度 分 析 








代码 评审 是 软件 研发 过 程 中 的 重要 环节 ， 因 为 尽早 、 尺 快 地 发 现 缺 
陷 ， 有 助 于 提高 代码 质量 。 但 是 ， 如 有 果 仅 仅 依 赖 人 工 评 审 ， 那 么 不 但 工 
作 量 大 ， 而 且 评 审 质量 不 够 稳定 ， 甚 至 不 能 保证 其 可 徘 性 。 于 是 ， 借 助 
工具 来 完成 代码 评审 已 成 为 业界 的 主流 实践 。 代 码 分 析 工 具 往 往 需 要 人 
工 智能 技术 的 助力 。 


1) 缺陷 模式 匹配 : 事先 从 代码 分 析 经 验 中 收集 足够 多 的 共性 缺陷 
模式 ， 将 待 分 析 代 码 与 已 有 的 共性 缺陷 模式 进行 匹配， 甚至 可 以 通过 机 
需 学 习 的 分 类 算法 来 学 习 这 些 模式 ， 以 预测 所 提交 代码 中 的 缺陷 ， 从 而 
更 早 地 发 现代 码 中 的 问题 。 











2) 类 型 推断 技术 : 通过 对 代码 中 运算 对 象 类 型 进行 推理 ， 从 而 保 
证 代码 中 每 条 语句 都 针对 正确 的 类 型 执行 。 


3) 模型 检查 : 建立 在 有 限 状 态 自 动机 的 理论 基础 上 ， 将 每 条 语句 





产生 的 影响 抽象 为 有 限 状 态 目 动机 的 一 个 状态 ， 再 通过 分 析 有 限 状 态 机 
达到 分 析 代 码 的 目的 。 


4) 数据 流 分 析 : 从 程序 代码 中 收集 程序 语义 信息 ， 抽 象 成 控制 流 
图 ， 通 过 控制 流 图 ， 不 必 真 实地 运行 程序 ， 可 以 分 析 发 现 程序 运行 时 的 
行为 。 如 Fortify 使 用 X-Tier Dataflow analysis 技 术 跟 踪 输 入 的 “污点 ”数据 
如 何 访问 应 用 程序 的 架构 层次 和 编程 语言 的 边界 ， 进 一 步 可 以 分 析 无 限 
多 维 的 “污点 ”传播 ， 从 而 有 助 于 找到 细微 可 利用 的 pug， 这 在 寻找 隐私 
数据 管理 失败 和 PCI 相 关 错 误 时 特别 有 用 。 








5) 语义 分 析 、 结 构 分 析 : 从 代码 中 提取 一 套 Boolean 约 束 方程 并 使 
用 约束 求解 ， 以 对 一 个 不 恨 的 编码 实践 被 利用 的 可 能 性 进行 排名 。 


6) 控制 流 分 析 : 增强 了 程序 间 的 算法 以 在 整个 代码 基础 上 提供 深 
入 分 析 ， 基 于 代码 执行 一 个 单独 的 分 析 ， 以 寻找 和 消除 那些 可 能 会 导致 
误 报 的 虚假 路 径 。 





基于 与 历史 提交 关联 的 元 数据 ， 可 以 创建 自 定义 的 分 类 模型 ， 并 基 
于 代码 库 收集 的 元 数据 创建 用 于 训练 模型 的 标签 数据 。 当 开发 人 员 提 交 
新 的 代码 时 ， 可 以 获取 每 个 提交 中 文件 的 元 数据 ， 这 样 融 可 以 使 用 项 目 
特定 的 模型 来 预测 提交 中 的 任何 文件 是 否 存在 发 生 错误 的 风险 。 传 统 的 
机 堪 学 习 模 型 是 黑匣子 ， 疝 无 法 提供 模型 预测 的 依据 。 一 些 新 的 测试 工 
具 可 以 使 用 LIME (local interpretable model-agnostic explanations， 对 不 
可 知 模型 的 局 部 解释 ， 有 助 于 理解 和 解释 复杂 机 器 学 习 模型 如 何 做 出 决 
俩 的 一 个 工具 ) 给 出 预测 背后 的 基本 原理 ， 以 便 用 户 对 预测 产生 更 大 的 














信任 。 通 过 在 代码 发 布 之 前 隐藏 在 代码 中 的 模式 和 规则 冲突 ， 在 软件 发 
之 前 更 可 靠 地 识别 错误 源 ， 使 得 将 来 可 以 更 轻松 地 避免 出 现 类 似 问 


Ee 


可 





例如 ， 如 果 有 了 NDSS 2018 VulDeePecker (一 种 基于 深度 学 习 的 漏 
洞 检测 系统 ) 提供 的 安全 漏洞 数据 集 ， 其 数据 均 属于 C/C++ 程序 切片 
(程序 切片 是 指 从 程序 P 中 提取 和 关注 点 N 有 关 的 指令 ) ; 将 源 代码 中 
的 某 些 可 能 与 漏洞 相关 的 API 库 函数 作为 关注 点 ， 根 据 数据 流 相关 性 双 
向 提取 语句 组 成 程序 切片 ; 每 个 切片 样本 有 对 应 的 0 或 1 标签 ，0 表 示 无 
漏洞 ，1 表 示 有 漏洞 ， 漏 洞 类 型 分 为 CWE-119 和 CWE-399。 基 于 这 个 数 
据 集 ， 就 可 以 利用 深度 学 习 算 法 来 训练 模型 ， 从 而 基于 这 个 模型 来 对 新 
开发 的 代码 进行 安全 性 方面 的 深度 分 析 。 之 前 ， 人 们 根据 预定 义 的 规则 
对 代码 进行 分 析 ， 如 果 代 码 违反 了 规则 ， 则 将 其 识别 为 潜在 的 代码 错 
误 ， 因 此 之 前 的 分 析 工 具 只 能 发 现 违反 现 有 规则 的 错误 ， 但 借助 机 器 学 
习 可 以 发 现 之 前 未 知 的 错误 ， 甚 至 以 完全 未 知 的 方式 自动 识别 语言 ， 解 
析 程 序 并 提取 重要 的 部 分 。 














在 代码 分 析 中 ， 一 些 新 的 代码 静态 分 析 工 具 具 有 人 工 智能 检测 引 
擎 ， 如 代码 基因 图 谱 分 析 、 修 改 影响 分 析 、 类 继承 关系 分 析 和 多 态 分 析 
等 。 基 于 人 工 乔 能 检测 引擎 ， 不 但 简化 了 大 规模 代码 分 析 ， 而 且 为 有 效 
的 代码 深度 分 析 莫 定 了 基础 。 


10.3.4 ” 人工 智能 驱动 测试 














之 前 实施 目 动 化 测试 ， 测 试 人 员 或 开发 人 员 还 是 要 目 己 写 目 动 化 脚 
本 的 。 无 论 是 添加 一 个 新 功能 、 修 改 一 个 功能 ， 还 是 只 改 了 一 个 参数 或 
删除 UI 上 的 一 个 元 素 ， 我 们 都 需要 修改 脚本 ， 脚 本 维护 的 工作 量 相当 
大 。 如 果 需 求 变化 快 一 点 、 产 品 代 码 质量 不 够 好 ， 那 么 自动 化 测试 并 不 
能 显著 提升 测试 效率 ， 测 试 依 旧 是 敏捷 、DevOps 的 最 大 瓶颈 。 





现在 是 人 工 智 能 的 时 代 ， 如 采 我 们 还 只 是 用 过 去 传统 的 手段 来 实施 
目 动 化 测试 ， 那 么 将 难以 适应 敏捷 的 需要 ， 人 至 少 自动 化 测试 还 停留 在 半 
手工 、 半 目 动 化 的 状态 。 如 果 要 将 目 动 化 测试 推 到 一 个 新 的 水 平 ， 那 么 
必须 用 人 工 智 能 来 “武装 ”自动 化 测试 ， 进 入 人 工 智 能 驱动 的 测试 时 代 。 
这 样 ， 我 们 可 以 基于 人 工 智 能 生成 测试 模型 、 测 试用 例 和 测试 数据 ， 并 
定位 和 预测 缺陷 等 ， 使 测试 全 过 程 实现 自 动 化 和 智能 化 。 








对 于 人 工 智 能 驱动 的 自动 化 测试 ， 我 们 可 以 把 它 分 为 5 级 。 


(1) 第 1 级 : 自主 





目 动 驾驶 汽车 是 一 个 很 好 的 例子 ， 可 以 解释 这 个 级 别 的 测试 。 目 动 
驾驶 系统 的 视觉 功能 (由 摄像 机 阵列 和 雷达 等 构成 ) 越 好 ， 目 劫 驾驶 性 
束 越 高 。 同 样 ， 如 末 测 试 工具 引入 人 工 乔 能 技术 以 增加 识别 UI 元 系 的 能 
力 、 更 好 观 凤 被 测 系 统 ， 那 么 自动 化 测试 将 更 加 具备 自主 能 





人 工 智 能 不 但 应 该 获得 页 面 的 文档 对 象 模型 (DOM) 的 快照 ， 而 
且 可 以 查看 页 面 的 可 视 化 效果 。 过 去 ,测试 工具 运行 测试 脚本 ， 在 屏幕 
上 找到 UI 元 系 并 进行 操作 、 验 证 ， 但 还 是 不 能 发 现 一 些 缺 陷 ， 如 页 面 当 
前 位 置 不 正确 或 隐藏 了 菏 些 元 系 的 可 见 性 ， 但 测试 人 员 可 以 一 眼 发 现 这 





类 问题 。 基 于 人 工 智 能 的 视 党 技术 ， 也 可 以 发 现 这 类 问题 。 





这 时 的 测试 工具 珊 有 人 工 智 能 算法 ， 可 以 截取 所 有 更 改 相关 的 页 
面 ， 针 对 先前 测试 的 基准 进行 全 面 的 、 目 动 的 比较 分 析 ， 完 成 回归 测 
试 ， 确 定 哪些 更 改 根本 不 是 真正 的 更 改 ， 以 及 哪些 才 是 实际 的 改动 。 这 
时 ， 无 须 修改 自动 化 测试 脚本 残 能 完成 测试 。 














但 是 ， 看 起 来 人 工 智能 可 以 检查 测试 是 否 通 过 ， 实 际 上 ， 这 时 人 工 
智能 算法 还 不 能 正确 地 评估 测试 结果 。 当 测试 没有 通过 时 ， 人 工 乔 能 必 
须 通 知 我 们 ， 以 便 我 们 手工 去 检查 失败 是 真实 的 还 是 由 于 软件 更 改 而 发 
生 的 。 这 就 是 这 个 级 别 的 人 工 乔 能 驱动 测试 的 局 限 性 。 








(2) 第 2 级 : 部 分 自动 化 


在 第 1 级 别 中 ， 测 试 工具 能 很 好 地 使 用 人 工 智能 视 沉 技术， 可 以 针 
对 基准 进行 有 效 的 目 动 回归 测试 ， 可 以 检查 页 面 的 视 沉 效果， 但 还 不 能 
像 用 户 那 样 理解 应 用 程序 ， 而 确定 优先 级 、 风 险 与 缺陷 仍 是 我 们 的 主要 
工作 ， 我 们 需要 分 析 这 些 缺 陷 所 带 来 的 影响 是 什么 ， 以 及 哪些 需要 在 当 
前 版 本 被 修复 和 交付 。 因 此 ， 在 第 2 级 中 ， 人 工 智能 能 够 站 在 用 户 角度 
从 语义 上 理解 应 用 程序 的 不 同 之 处 ， 能 够 将 许多 页 面 中 的 更 改 归 为 一 组 
或 将 相似 的 缺陷 归 为 一 组 ， 因 为 从 语义 上 人 工 镶 能 能 够 理解 这 些 更 改 是 
相同 的 或 这 些 缺 陷 是 相似 的 ， 从 而 减少 了 人 工 对 类 似 问 题 进 行 分 组 的 工 
作 量 。 














总 之 ， 第 2 级 人 工 智 能 可 以 帮助 你 对 照 基准 检查 更 改 或 可 以 更 有 效 
地 检查 缺陷 的 优先 级 和 影响 ， 并 将 烦琐 的 工作 变 成 简单 的 工作 。 


(3) 第 3 级 : 条 件 自 动 化 


在 第 2 级 别 中 ， 人 工 乔 能 可 以 分 析 更 改 ， 但 需要 一 个 基准 进行 比 
较 ， 不 能 仪 通过 得 看 页 面 来 确定 页 面 是 否 正确 。 但 是 ， 在 第 3 级 中 ， 人 
工 智 能 可 以 通过 在 页 面 上 应 用 机 器 学 习 技术 来 做 到 这 一 点 ， 甚 全 更 多 。 
例如 ， 第 3 级 别 的 人 工 乔 能 可 以 检查 页 面 的 视 党 外 观 ， 并 根据 标准 的 设 
计 规则 (包括 对 齐 方式 、 空 格 的 使 用 、 颜 色 和 字体 的 使 用 ， 以 及 布局 ) 
来 确定 设计 是 否 存 在 缺陷 ， 而 不 需要 参照 上 一 个 版 本 。 





在 数据 方面 ， 第 3 级 别 的 人 工 智能 可 以 验证 页 面 的 数据 驱动 的 元 
素 ， 为 一 个 数字 字段 检查 它 的 数据 类 型 、 上 限 和 下 限 等 ， 还 可 以 检查 日 
期 字段 有 效 的 日 期 格式 、 电 子 邮 件 的 合法 格式 等 ， 也 可 以 检查 在 特定 页 
面 中 是 个 按 给 定 的 列 排序 等 。 





这 种 级 别 的 人 工 智 能 是 独立 工作 的 ， 无 须 人 工 干 预 ， 它 能 按照 约定 
独立 测试 一 个 应 用 程序 ， 或 者 说 ， 它 能 够 理解 简单 的 业务 规划， 然后 根 
据 这 些 规则 设计 测试 用 例 来 测试 该 应 用 程序 。 


现在 ， 对 于 新 引入 的 变化 ， 第 3 级 别 的 人 工 智 能 借助 机 顺 学 习 ， 只 
有 适应 变化 的 能 力 ， 即 使 页 面 及 生 了 变化 ， 人 工 智能 也 可 以 理解 页 面 仍 
然 很 好 ， 不 需要 传递 给 人 工 审核 ， 并 能 持续 监控 这 些 变化 ， 可 以 检测 变 
化 中 的 腊 闸 并 将 异 第 提交 给 和 人 类 进行 验证 。 





(4) 第 4 级 : 高 度 自动 化 








到 目前 为 止 ， 人 工 智 能 仅 目 动 运行 检查 、 执 行 我 们 的 测试 用 例 ， 但 


那些 触发 人 工 乔 能 算法 的 事件 仍然 需要 人 工 操作 ， 但 到 了 第 4 级 的 高 度 
自动 化 ， 会 消除 这 个 障碍 ， 无 顷 人 工 输入 ， 人 工 智 能 自身 就 可 以 触发 自 
动 化 测试 。 


第 4 级 别 的 人 工 智 能 可 以 像 人 类 一 样 检 查 页 面 并 理解 它 ， 因 为 它 使 
用 强化 学 习 技术 ， 从 语义 上 理解 页 面 ， 成 为 交互 流程 一 部 分 的 页 面 ， 人 
工 智能 可 以 驱动 测试 。 即 使 是 人 工 智 能 系统 从 未 见 过 的 页 面 类 型 ， 第 4 
级 别 的 人 工 智能 仍 将 能 够 查看 一 段 时 间 内 的 用 户 交 互 ( 可 视 化 交互 )， 
就 能 了 解 页 面 及 其 相关 的 流程 ， 为 特定 页 面 设计 动作 、 测 斌 任务 序列 ， 
即 设计 、 执 行 测试 。 











(5) 第 5 级 : 完全 目 动 化 


第 5 级 表示 达到 高 级 人 工 智能 水 平 ， 实 现 完全 的 自动 化 测试 ， 虽 然 
这 只 是 一 个 虚构 的 存在 ， 不 一 定 到 来 。 这 一 级 别 的 人 工 智能 能 够 用 “ 自 
己 的 思维 ”能 力 驱动 与 人 类 对 话 ,，“ 思 想 ”* 和 “想法 ”是 由 人 工 智 能 本 身 产 
生 的 ， 而 不 是 人 类 在 人 工 智 能 系统 中 预先 设 定好 的 。 











今天 的 人 工 知 能 并 不 了 解 它 在 做 什么 ， 它 只 是 基于 大 量 历史 数据 目 
动 执行 任务 ， 因 此 ， 目 前 的 测试 工具 处 于 第 1 级 和 第 2 级 之 间 ， 第 2 级 别 
的 人 工 乔 能 的 茶 些 能 力 表 现 不错 ， 第 3 级 别 的 人 工 智 能 仍 需要 大 量 的 人 
工 操作 ， 但 这 是 目前 可 行 的 。 








第 4 级 别 的 人 工 乔 能 仍 在 未 来 ， 但 在 未 来 一 段 时 间 ， 我 们 可 以 期 待 
看 到 人 工 智 能 辅助 测试 而 不 会 产生 不 良 的 副作用 。 软 件 测试 在 茶 些 方面 
类 似 于 驾驶 ， 但 它 更 加 复杂 ， 因 为 这 些 系 统 必须 了 解 复 杂 的 人 机 交互 。 


10.3.5” 人工 智能 测试 工具 


在 测试 中 会 遇 到 一 类 问题 一 一 局 发 式 或 模糊 的 测试 预言 ， 没 有 单 
一 、 明 确 的 判断 准则 ， 这 是 一 般 上 自动 化 测试 工具 无 法 验证 的 ， 需 要 人 进 
行 综合 判断 。 在 敏捷 开发 模式 实施 后 ， 这 类 问题 更 加 突出 。 这 一 问题 的 
解决 也 适合 人 工 智 能 方法 。 基 于 机 器 学 习 理 论 ， 采 用 有 效 的 概率 近似 
(probably approximately correct，PAC) 算法 来 实现 ， 如 微软 推出 的 语 
义理 解 服务 LUIS.ai 框 架 ， 借 助 它 能 够 灵活 地 进行 API 调 用 ， 创 建 自己 场 
景 的 语义 理解 服务 ， 识 别 实 体 和 消息 的 意图 。 一 旦 应 用 程序 上 线 ， 接 收 
到 十 几 条 真实 的 数据 ，LUIS 就 能 主动 学 习 、 训 练 “自己 ”。LUIS 能 检查 
发 送 给 它 的 所 有 消息 ， 将 模棱两可 的 文本 识别 出 来 ， 并 提醒 我 们 注意 那 
些 需 要 标注 的 语句 。 和 可 以 基于 LUIS 的 智能 框架 开 友 功能 测试 工 
有 具 、 业 务 验收 测试 工 


测试 输入 也 是 人 工 智 能 可 以 发 挥 作用 的 地 方 ， 特 别 是 在 功能 兼容 性 
测试 、 稳 定性 测试 等 实际 工作 中 ， 业 务 逻 辑 、 应 用 场景 比较 多 ， 人 可 能 
考虑 不 周全 ， 依 赖 人 工 智 能 来 帮忙 发 现 这 些 测试 输入 及 其 组 合 ， 其 中 模 

型 学 习 可 以 看 作 这 类 人 工 智能 应 用 场景 。 在 银行 、 音 鞋 等 领域 ， 已 经 应 
用 模型 学 习 来 发 现 更 多 的 缺陷 ， 如 德 勒 伊 特 和 埃 里 元 : 波 尔 的 实验 表 
明 ， 在 9 个 受 测 试 的 测试 学 习 系 统 实现 中 ， 有 3 个 能 够 发 现 新 的 缺陷 。 
外 ， 非 特 劳 等 人 在 一 个 涉及 Linux、Windows,， et ee 
户 端 的 FreeBSD 实 现 的 案例 研究 中 ， 将 模型 学 习 与 模型 检查 进行 了 结 
合 。 模 型 学 习 用 于 推断 不 同 组 件 的 模型 ， 然 后 应 用 模型 检查 来 充分 探索 

些 组 件 交 互 时 可 能 出 现 的 情况 ， 概 括 起 来 就 是 使 用 自动 机 学 习 建立 实 











现 一 致 性 的 基本 方法 ， 让 学 习 者 实现 交互 以 构建 模型 ， 然 后 将 其 用 于 基 
于 模型 的 测试 或 等 价 性 检 杜 。 


人 工 智 能 应 用 于 测试 的 案例 还 有 很 多 。 例 如 ，2015 年 ，Facebook 公 
司 就 采用 PassBot、FailBot 等 管理 测试 。 同 年 ， 谷 歌 Chrome OS 团队 使 用 
OptoFidelity 公 司 生 产 的 机 器 人 〈Chrome TouchBot) 来 测量 Android 和 
Chrome OS 设 备 的 端 到 端 延 到 。 


微软 使 用 机 器 人 AzureBot 来 管理 测试 环境 ， 通 过 Skype 联 系 管理 

员 ， 以 确认 是 人 否 需要 部 署 新 的 虚拟 机 ， 之 后 会 及 时 通知 管理 员 。 在 这 期 
间 ， 管 理 员 不 需要 注册 ， 也 不 需要 进行 App 同 步 。 除 应 用 于 测试 环境 的 
智能 运 维 之 外 ， 人 工 智 能 还 可 以 应 用 于 测试 策略 的 自动 优化 、 质 量 风险 
评估 的 自我 调整 ， 以 及 缺陷 自动 定位 与 修复 等 。 例 如 ， 缺 陷 诊断 机 器 人 
(defect debug bots，DDB)》 可 以 先 检查 问题 ， 自 动 从 已 有 的 解决 方案 
FS) 中 找到 匹配 的 FS， 目 动 修复 问题 。 如 有 果 没 有 匹配 ， 就 将 可 能 的 
所 有 方案 推荐 给 合适 的 开发 人 员 ， 让 开发 人 员 来 修复 。 在 开发 人 员 修 复 
后 ，DDB 更 新 FS 库 ， 用 于 下 次 目 动 修 复 。 











下 面向 读者 介绍 儿 球 人 工 智能 测试 工具 。 通 过 这 几 球 工具 的 介绍 ， 
读者 也 许 会 体会 到 一 场 新 的 测试 革命 正在 发 生 ， 测 试 机 器 人 在 不 久 的 将 
来 会 成 为 测试 的 主要 力量 。 





(1) Appvance IQ 


Appvance IQ 根 据 应 用 程序 的 映射 和 实际 用 户 活动 分 机 ， 使 用 机 需 
学 习 和 认 知 目 动 生成 目 动 化 测试 脚本 。 目 动 化 测试 脚本 的 生成 分 为 下 列 





1) 生成 应 用 程序 蓝图 ， 由 机 器 学 习 引擎 创建 的 应 用 程序 蓝图 封装 
了 对 被 测 应 用 程序 的 全 面 映射 。 蓝 图 随后 能 够 集成 真实 用 户 如 何 浏览 应 
用 程序 的 大 数据 分 析 。 





2) 自动 化 测试 脚本 的 生成 是 认 知 处 理 的 结果 ， 可 以 准确 地 表示 用 
尸 做 了 什么 或 试图 做 什么 。 它 使 用 应 用 程序 下 图 作为 被 测 应 用 程序 中 可 
能 的 指导 ， 使 用 服务 咒 日 志 作 为 实际 用 户 活动 的 大 数据 源 。 


人 工 智 能 驱动 脚本 的 生成 是 软件 测试 的 一 项 突破 ， 将 极 大 地 减少 目 
动 化 测试 脚本 开发 的 工作 量 。 人 工 智能 创建 的 脚本 组 合 既 是 用 户 驱 动 
的 ， 又 比 手动 创建 的 脚本 更 全 面 。 


(2) mabl 
mabl 是 由 一 群 前 谷歌 雇员 研发 的 人 工 智 能 测试 平台 ， 侧 重 对 应 用 或 
网 站 进行 功能 测试 。 在 mabl 平 台 上 ， 我 们 通过 与 应 用 程序 进行 交互 


来 “训练 ?测试 。 录 制 完 成 后 ， 经 训练 而 生成 的 测试 将 在 预定 时 间 上 自动 执 
行 。mabl 的 特点 有 以 下 几 个 方面 。 














没有 脚本 的 自动 化 测试 (scriptless automation test) ， 并 能 集成 在 持 
续集 成 环境 中 。 


可 以 消除 不 稳定 的 测试 ， 残 像 其 他 基于 人 工 智能 的 测试 自动 化 工具 
一 样 ，mabl 可 自动 检测 应 用 程 友 的 元 系 是 否 已 更 改 ， 并 动态 更 新 测 
试 以 适应 这 些 变化 。 








。 能 不 断 比 较 测 试 结果 及 其 对 应 的 历史 数据 ， 以 快速 检测 变化 和 回 
归 ， 从 而 产生 更 稳定 的 版 本 。 


。 可 以 快速 识别 和 修正 缺陷 ， 能 够 提醒 我 们 可 能 产生 的 对 用 户 的 负面 


影响。 
(3) Sauce Labs 


对 于 Sauce Labs， 有 些 测 试 人 员 比 较 熟 悉 ， 因 为 移动 App 上 自动 化 测 
试 框架 Appium 就 出 自 该 公司 。Sauce Labs 是 最 早 开 始 基于 云 的 自动 化 测 
试 的 公司 ， 每 天 运行 超过 150 次 测试 ， 通 过 多 年 测试 数据 的 积累 而 拥有 
一 个 虚拟 “宝库 ”， 能 够 利用 机 器 学 习 来 针对 这 些 数据 进行 分 析 ， 更 好 地 
理解 测试 行为 ， 主 动 帮 助 客户 改进 测试 自动 化 。 该 公司 相信 ， 在 测试 中 
使 用 已 知 的 模式 匹配 和 不 同 的 人 工 智能 技术 是 非常 有 用 的 。 





(4) SeaLights 





SeaLights 类 似 于 Sauce Labs， 也 是 一 个 基于 云 的 测试 平台 ， 能 够 利 
用 机 器 学 习 技 术 分 析 SUT 的 代码 ， 以 及 与 之 对 应 的 测试 。 它 不 局 限于 单 
元 测试 ， 还 包括 系统 级 的 业务 测试 和 性 能 测试 。 它 还 有 一 个 显著 特点 ， 
基于 机 器 学 习 以 呈现 完整 的 质量 仪表 租 〈dashboard) ， 帮 助 我 们 进行 质 
量 风险 的 评估 ， 能 够 关注 用 户 所 关心 的 东西 ， 包 括 哪些 代码 未 经 某 种 类 
型 或 特定 的 测试 。 这 样 可 以 很 容易 地 确保 未 经 测试 的 代码 不 会 上 线 ， 至 
少 这 些 代码 要 得 到 必要 的 验证 。 








SeaLights 可 以 轻松 地 创建 每 个 人 都 能 看 到 的 高 质量 仪表 盘 。 因 此 ， 


对 于 每 个 构建 ， 你 可 以 了 解 调试 的 内 容 、 状 态 和 上 履 兰 范围 ， 存 在 的 质量 
问题 以 及 是 否 正在 得 到 改进 ， 质 量 问题 是 否 正在 减少 。 





(5 ) test.ai 


test.ai 被 视 为 一 种 将 人 工 智 能 作为 会 思考 和 指挥 的 大 脑 添 加 到 
Selenium 和 Appium 的 工具 ， 以 一 种 类 似 于 Cucumber 的 BDD 语 法 的 简单 
格式 定义 测试 。test.ai 在 任何 应 用 程序 中 动态 识别 屏幕 和 元 素 ， 并 上 自动 
驱动 应 用 程序 执行 测试 用 例 。 它 由 机 斯 廷 : 刘 和 贾 和 森 :阿尔 邦 创建 。 





(6) Testim 


Testim 专 注 于 减少 不 稳定 的 测试 和 测试 维护 的 工作 量 。 它 试图 利用 
机 器 学 习 来 加 快 开发 、 执 行 和 维护 自动 化 测试 ， 让 我 们 开始 信任 自己 的 
测试 。 


除 上 述 工 具 / 平 台 之 外 ， 像 Functionize、Panaya Test Center 2.0、 
Kobiton、Katalon Studio 和 Tricentis Tosca 等 工具 也 具有 智能 特性 。 














10.4 敏捷 测试 工具 的 未 来 


随 着 计算 机 搁 术 及 其 应 用 模式 的 发 展 和 变化 ， 软 件 测试 也 及 生 着 相 
应 的 变化 。 今 天 ， 无 论 是 在 方法 、 技 术 和 工具 上 ， 还 是 在 思想 和 流程 
上 ， 软 件 测试 都 已 经 或 正在 发 生 着 巨大 的 变化 。 


在 思想 上 ， 目 前 的 全 过 程 软件 测试 ， 不 但 左 移 到 需求 评审 、 设 计 评 


审 和 代码 评审 ， 而 且 倡导 测试 驱动 开发 (TDD、ATDD 等 ) 和 需求 实例 
化 (BDD、RBE)〉， 从 产品 需求 到 测试 用 例 ， 产 品 经 理 和 开发 人 员 共 享 
同一 个 完全 可 测 的、 场景 化 的 需求 。 目 前 的 全 过 程 软件 测试 ， 还 扩展 到 
运 维 ， 与 DevOps 实 践 融 为 一 体 ， 从 高 度 自动 化 的 持续 构建 、 持 续集 成 

到 持续 测试 、 持 续 交 付 和 持续 部 普 等 ， 提 倡 更 多 的 在 线 测 试 或 日 志 分 

析 ， 以 及 用 户 反 馈 收 集 与 分 析 等 。 





在 方法 和 技术 上 ， 不 但 可 以 引入 虚拟 化 技术 、 云 计算 和 API 技 术 为 
测试 服务 ， 而 且 可 以 引入 人 工 智 能 搁 术 ， 结 合 基于 模型 的 测试 来 实现 真 
正 的 自动 化 测试 。 之 前 的 目 动 化 测试 ， 只 能 算是 半自动 化 测试 ， 测 试 脚 
本 还 需要 人 工 开 发 。 





在 未 来 ， 开 发 和 测试 将 会 更 加 融合 ， 测 试 成 为 服务 提供 者 ， 通 过 提 
供 汕 试 服 务 ， 给 开发 人 员 赋 能 ， 测 试 作为 一 种 职业 或 岗位 很 可 能 会 消 
失 ， 而 只 是 作为 一 项 工作 或 活动 而 存在 。 开 发 人 员 更 容易 借助 工具 完成 
单元 测试 、 集 成 测试 和 系统 测试 ， 然 后 开发 人 员 再 与 业务 人 员 、 产 品 经 
理 或 用 户 一 起 完成 验收 测试 。 











10.4.1 敏捷 测试 工具 的 友 展 趋势 





测试 自动 化 是 实现 敏捷 化 和 DevOps 的 关键 ， 并 且 已 经 在 引领 整个 
软件 测试 的 发 展 。 训 试 目 动 化 的 发 展 离 不 开 测 试 工具 的 文 持 。 图 10-15 
展示 了 目前 自动 化 测试 的 7 个 发 展 趋势 ， 模 型 化 也 在 其 中 ， 每 一 个 趋势 
都 不 是 孤立 发 展 的 ， 它 们 之 间 相 互 影响 、 相 互 促进 。 


机 器 人 过 程 自动 化 








图 10-15 ”自动 化 测试 的 发 展 趋势 


1) 智能 人 化。 虽然 人 工 智 能 /机 器 学 习 在 软件 测试 中 的 应 用 还 处 于 初 
级 阶段 ， 但 这 将 是 未 来 几 年 最 具 成 长 性 的 领域 之 一 。 我 们 期 竺 利用 人 工 
智能 技术 更 快 地 识别 软件 的 质量 风险 ， 更 快 地 发 现 和 定位 缺陷 来 提高 软 
件 测 试 的 质量 和 效率 。 正 如 上 文 所 到 的 ， 越 来 越 多 的 测试 工具 开始 采用 
人 工 智 能 技术 辅助 自动 化 测试 。 


2) 云 化 。 基 于 虚拟 化 技术 搭建 的 云 测 试 上 自动 化 平台 通过 强大 的 机 
器 资源 和 计算 能 力 提 供 更 快 的 测试 执行 速度 和 测试 能 力 的 可 伸缩 性 。 一 
些 值 得 关注 的 云 测试 平台 包括 Kobiton、Sauce Labs 等 。 


3) 机 器 人 过 程 自 动 化 (robotic process automation，RPA) 是 指 利 
用 软件 机 器 人 实现 业务 处 理 的 自动 化 ， 也 就 是 对 多 个 应 用 程序 进行 天 
联 ， 对 显示 画面 的 内 容 进 行 确认 ， 以 及 输入 等 用 人 工 进 行 操作 的 业务 。 
RPA 工 具 可 用 于 UI 自 动 化 测试 ， 它 的 特点 是 无 须 编码 ， 通 过 鼠标 单 击 录 
制 束 能 快速 生成 图 形 化 面向 业务 逻辑 的 测试 用 例 ， 通 过 软件 机 旨 人 自动 
执行 测试 用 例 。 





4) 模型 化 。 利 用 基于 模型 的 测试 技术 自动 生成 测试 用 例 ， 测 试 工 
有 具 就 可 以 将 测试 自动 化 再 往 前 推进 一 步 ， 实 现 从 测试 执行 的 自动 化 到 测 
试用 例 设 计 的 自动 化 。 目 前 ， 已 经 有 不 少 可 以 用 于 实践 的 基于 模型 的 测 
斌 工具， 如 TestOptimal、GraphWalker、Yest 和 Certifyit 等 。 





5) 新 的 技术 领域 。“ 万 物 互 联 ?的 时 代 正 在 到 来 ， 不 同 的 设备 运行 
在 不 同 的 环境 中 ， 如 何 确 保 物 联网 测试 的 正确 测试 履 盖 级 别 是 一 个 挑 
战 。 不 仅 是 物 联 网 ， 还 包括 其 他 新 兴 的 技术 领域 带 来 的 测试 工具 方面 的 
挑战 。 例 如 ， 区 块 链 、 人 工 智 能 应 用 、 大 数据 应 用 ， 以 及 这 些 新 拉 术 的 
应 用 达 来 的 信息 安全 方面 的 目 动 化 测试 需求 。 


6) 无 代码 化 的 测试 自动 化 (codeless test automation ) 。 无 须 编程 
就 能 完成 测试 用 例 的 开发 ， 这 将 为 研发 人 员 节 省 大 量 的 测试 代码 的 开发 
和 调试 时 间 。 一 个 好 的 无 代码 化 的 测试 工具 应 该 和 人 工 智 能 相 结合 ， 通 
过 分 析 应 用 界面 上 的 单 击 操作 上 自动 为 用 户 生 成 UI 或 API 测 试 脚本 ， 基 于 
人 工 智 能 图 像 识 别 来 检测 Web 元 素 ， 通 过 机 器 学 习 处 理 代码 中 的 错误 分 
类 和 自我 纠正 ， 测 试 脚 本 可 以 在 不 中 断 操作 的 情况 下 持续 运行 并 自我 改 
进 。 无 代码 化 的 自动 化 测试 工具 包括 Katalon Studio、TestCraft 和 Perfecto 
等 。 





7) 敏捷 化 、DevOps 化 。 敏 捷 、DevOps 的 目标 都 是 向 用 户 持续 交 
付 软 件 产 品 ， 而 持续 交付 众生 了 “持续 测试 ”的 需求 ， 持 续 测试 对 测试 工 
其 的 需求 包含 3 个 层次 : 第 1 个 层次 ， 采 用 测试 工具 实现 各 种 类 型 〈( 功 
能 、 性 能 和 安全 性 等 ) 的 自动 化 测试 执行 ， 第 2 个 层次 ， 从 测试 用 例 的 
创建 、 测 试 执行 到 结果 分 析 、 测 试 报告 的 生成 ,测试 工 共同 着 平台 化 的 





方向 发 展 ， 将 自动 化 扩展 到 整个 测试 生命 周期 ;第 3 个 层次 ， 测 试 工具 
或 平台 与 DevOps 工 具 链 进行 集成 ， 这 样 才能 实现 与 持续 构建 、 持 续集 
成 和 持续 部 署 融 为 一 体 的 持续 测试 。 在 第 4 章 中 介绍 过 ， 目 前 DevOps 工 
具 链 中 与 测试 相关 的 工具 一 共有 16 类 ， 这 表明 软件 测试 工具 敏捷 化 、 
DevOps 化 已 成 为 大 势 所 趋 。 











10.4.2 ”基于 模型 的 测试 的 前 景 如 何 


基于 模型 的 测试 技术 已 经 出 现 多 年 了 ， 一 些 大 型 的 软件 公司 一 下 在 
使 用 它 ， 如 微软 、IBM 等 。 但 对 于 国内 大 多 数 企 业 和 研发 人 员 来 说 ， 它 
还 是 一 个 新 鲜 事 物 ， 而 且 笔者 感觉 推广 起 来 有 一 定 的 难度 。 这 主要 是 因 
为 基于 模型 的 训 试 技术 将 手动 编写 测试 用 例 /脚本 转移 到 手动 开发 模 
型 。 对 于 开发 /测试 人 员 来 说 ， 这 存在 一 定 的 技术 难度 ， 因 为 创建 模型 
需要 具备 有 限 状态 机 、 状 态 图 和 数据 流 图 等 模型 相关 的 知识 ， 因 此 很 多 














现在 的 软件 系统 越 来 越 复杂 ， 敏 捷 开 友 叉 要 求 软件 测试 速度 要 更 
快 、 质 量 要 更 高 。 但 很 多 时 候 ， 软 件 在 测试 很 不 充分 的 情况 下 就 匆忙 上 
线 ， 甚 至 开发 团队 都 没有 对 业务 流程 进行 认真 分 析 ， 更 别提 能 够 达到 比 
较 理想 的 测试 履 盖 率 。 基 于 模型 的 测试 可 以 帮助 我 们 同时 解决 复 森 性 和 
测试 效率 的 难题 ， 根 据 需 求 建立 模型 ， 化 索 为 简 ， 系 统 性 地 才 病 业务 需 
求 。 随 后 ， 根 据 模型 自动 创建 测试 用 例 ， 集 成 自动 化 的 测试 执行 和 结 
分 析 ， 这 样 才 算是 彻 确 的 测试 目 动 化 。 





话 义 说 回来 ， 系 统 性 地 了 解 软件 产品 的 行为 本 来 就 是 研发 人 员 在 测 
试 设 计 阶 段 必须 做 的 功课 ， 尤 其 是 针对 复杂 的 软件 系统 。 而 建 模 正 是 提 
供 了 一 种 了 解 系统 行为 的 科学 的 结构 化 方式 。 这 并 不 是 实施 基于 模型 的 
测试 才 需 要 具备 的 技能 ， 通 过 使 用 基于 模型 的 测试 工具 会 让 这 个 建 模 过 
程 更 加 规范 和 可 视 化 ， 增 加 了 模型 的 可 读 性 和 重用 性 。 








在 敏捷 开发 中 ， 采 用 基于 模型 的 训 试 可 以 促进 持续 交付 ， 有 效 地 应 
对 敏捷 测试 中 的 风险 ， 如 需求 不 清晰 和 需求 频 蚂 变更 这 两 个 常见 的 敏捷 
测试 的 风险 点 。 在 需求 分 析 阶 段 ， 基 于 模型 的 测试 可 以 为 每 次 达 代 中 基 
于 需要 实现 的 用 户 故 事 的 各 种 场景 构建 模型 ， 这 样 有 利于 需求 的 证 清和 
加 强 需 求 的 可 测试 性 ， 甚 至 在 建 模 阶段 就 可 以 发 现 产 品 需求 和 设计 中 的 
缺陷 。 基 于 模型 的 测试 技术 通过 调整 模型 来 啊 应 需求 变更 ， 进 而 目 动 更 
新 测试 路 径 和 测试 用 例 ， 目 动 更 新 目 动 化 测试 脚本 。 这 样 束 很 方便 地 实 
现 了 从 需求 分 解 到 测试 用 例 /脚本 的 测试 覆盖 ， 并 且 可 以 对 测试 履 凋 
率 、 测 试用 例 的 执行 结果 进行 跟踪 。 而 相 比 自动 化 脚本 的 维护 来 说 ， 模 
型 的 维护 成 本 更 低 。 

















将 人 工 智 能 技术 和 基于 模型 的 测试 结合 ， 将 会 使 人 工 智 能 技术 更 加 
强大 。 使 用 人 工 留 能 技术 创建 训练 测试 模型 ， 利 用 算法 为 不 同 的 测试 履 
兰 率 基于 风险 推荐 测试 路 径 。 这 也 能 够 解决 目前 基于 模型 的 测试 面临 的 
另 一 个 问题 : 过 历 有 限 状 态 机 可 能 会 生成 指数 级 别 的 测试 路 径 ， 每 个 测 
试 路 径 的 测试 脚本 全 部 执行 ， 在 追求 高 测试 履 盖 率 的 同时 也 会 降低 测试 
效率 。 








研发 团队 实施 基于 模型 的 测试 时 需要 在 人 员 技 能 培训 方面 有 一 定 的 





投资 ， 但 从 长 远 来 看 ， 基 于 模型 的 测试 可 以 帮助 团队 提高 测试 覆盖 率 ， 
降低 自动 化 测试 的 维护 成 本 。 第 3 方 机 构 通过 调查 得 到 的 数据 显示 ， 如 
果 玉 用 基于 模型 的 测试 ， 效 率 可 以 提高 40%， 质 量 可 以 提高 50%， 而 成 
本 则 降低 到 原来 的 /4。 因 此， 我 们 有 理由 相信 ， 基 于 模型 的 测试 将 成 
为 敏捷 测试 未 来 发 展 的 重要 趋势 。 





10.4.3 ”无 代码 化 的 测试 目 动 化 


无 代码 化 的 测试 目 动 化 不 是 没有 代码 ， 而 是 测试 人 员 不 用 目 己 开发 
测试 代码 ， 使 用 无 代码 化 的 测试 工具 可 以 生成 可 执行 的 测试 用 例 集 。 这 
样 将 大 大 降低 目 动 化 测试 的 搁 术 无 代码 化 的 门 榄 ， 使 没有 编程 经 验 的 测 
试 人 员 《〈 甚 至 业务 分 机 人 员 ) 也 可 以 很 快 上手 。 


实际 上 ， 这 不 但 是 软件 测试 的 一 个 新 趋势 ， 而 且 是 整个 软件 工程 的 
一 个 新 趋势 : 无 代码 化 的 软件 应 用 。 目 前 比较 流行 的 无 代码 化 网 站 创建 
工具 包括 Wix、Squarespace 等 。 在 软件 测试 方面 ， 正 是 顺应 这 一 趋势 ， 
出 现 了 一 些 无 代码 化 的 测试 工具 。 





在 目前 的 软件 测试 中 ， 为 了 达到 一 个 比较 蜗 的 测试 目 动 化 水 平 ， 测 
试 人 员 还 是 有 很 多 工作 要 做 的 ， 如 搭建 测试 环境 、 设 计 测 试用 例 、 开 友 
测试 脚本 ， 有 的 组 织 还 自己 开 肥 自动 化 测试 工具 或 框架 ， 这 些 几 乎 都 需 
要 手工 完成 。 测 试 目 动 化 也 仅仅 体现 在 测试 执行 的 目 动 化 上 ， 开 发 测试 
脚本 ， 适 配 到 不 同 的 软件 版 本 和 浏览 顷 (UI 目 动 化 测试 )， 以 及 调试 代 
码 让 其 能 够 稳定 运行 一 般 要 论 费 不 少时 间 。 因 此 ， 即 使 在 测试 目 动 化 水 














平 比较 高 的 团队 里 ， 软 件 测试 也 难免 会 成 为 软件 快速 交付 的 瓶颈 。 


如 果 一 个 团队 在 单元 测试 方面 投入 不 够 ， 那 么 只 能 基于 Selenium、 
Appium 这 样 的 训 试 工具 来 编写 大 量 问 到 端的 UI 目 动 化 测 斌 脚本， 团队 
里 的 开发 人 员 一 般 是 不 负责 的 ， 这 就 要 求 测试 人 员 有 具备 一 定 的 编程 能 
力 。 对 于 很 多 组 织 来 说 ， 大 多 数 软件 测试 人 员 的 编程 能 力 比 较 弱 ， 这 也 
阻碍 了 目 动 化 水 平 的 提高 和 面 问 测试 目 动 化 的 转型 。 











无 代码 化 的 上 自动 化 测试 工具 的 出 现 正 是 为 了 解决 上 述 难 题 ， 这 类 工 
其 一 般 有 以 下 两 个 特点 。 





。 提供 友 好 的 界面 ， 测 试 人 员 不 需要 编写 代码 即 可 通过 界面 上 的 操作 
完成 测试 用 例 的 开发。 


。 通过 人 工 乔 能 和 机 絮 学 习 算 法 使 测试 用 例 具有 上 自 人 钝 机 制 ， 能 够 自动 
进化 和 完善 ， 上 自动 修 复 和 维护 测试 脚本 中 的 对 象 和 元 系 定 位 。 





男 外 ， 大 多 数 无 代码 化 的 自动 化 测试 工具 不 但 支持 UI 测试 ， 而 且 文 
持 API 测 试 ， 即 Web Service 的 测试 。 无 代码 化 的 自动 化 测试 工具 能 够 市 
来 的 好 处 包括 更 高 的 测试 覆盖 率 和 更 短 的 软件 交付 周期 。 这 不 但 节省 了 
测试 脚本 的 开发 时 间 和 调试 时 间 ， 而 且 提 升 了 测试 代码 的 可 重用 性 ， 可 
以 跨 项 目 、 跨 版 本 重用 测试 代码 ， 而 不 需要 手动 更 新 和 调试 测试 代码 。 
此 外 ， 这 也 有 利于 促进 敏捷 团队 中 不 同 拉 能 和 职责 的 团队 成 员 参 与 软件 
测试 ， 如 团队 中 的 业务 分 析 人 员 。 








下 面 列举 一 些 无 代码 化 的 自动 化 测试 工具 。 


(1) Katalon Studio 





在 无 代码 化 的 自动 化 测试 工具 中 ，Katalon Studio 是 非常 值得 关注 
的 。 它 是 在 2015 年 推出 的 一 个 自动 化 测试 框架 ， 目 前 在 各 类 机 构 的 自动 
化 测试 工具 排行 榜 中 都 排名 靠 前 。 男 外 ， 它 的 开源 属性 (也 有 收费 版 
本 ) 也 大 大 促进 了 该 工具 的 推广 和 发 展 ， 不 过 目前 还 没有 中 文 版 本 。 
Katalon Studio 的 管理 界面 如 图 10-16 所 示 。 
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10-16 ”Katalon Studio 的 管理 界面 





Katalon Studio 使 用 Selenium 和 Appium 作 为 底层 框架 ， 支 持 Web 以 及 
Android、iOS 移 动 应 用 的 UI 自动 化 测试 ， 支 持 多 种 主流 浏览 莫 ， 也 支持 
RESTful 和 SOAP 的 API 自 动 化 测试 。 作 为 无 代码 化 的 自动 化 测试 工具 ， 
它 既 文 持 有 编程 经 验 的 测试 人 员 使 用 Groovy 语 言 开 发 测试 脚本 ， 又 支持 
没有 编程 经 验 的 测试 人 员 开 发 测试 用 例 。 








在 UI 自动 化 测试 方面 ， 它 提供 录制 -回放 功能 ，Web recorder utility 
接收 应 用 程序 上 的 所 有 动作 ， 转 化 成 测试 用 例 ， 同 时 提供 object spy 功 能 
在 界面 上 捕获 元 素 对 象 来 文 持 用 户 自 己 编写 测试 用 例 。 








在 Katalon Studio 7.6 版 本 中 ， 提 供 了 UI 测试 用 例 自 人 钝 (self- 
healing) 功能 : 在 测试 用 例 运 行 时 ， 当 使 用 默认 的 定位 方法 (如 
XPath〉 定 位 不 到 某 个 元 素 时 ， 工 具 会 自动 尝试 其 他 的 定位 方式 进行 元 
素 定 位 (如 CSS〉， 让 测试 得 以 运行 ， 并 在 随后 的 测试 中 也 使 用 新 的 定 
位 方式 。 在 测试 结束 后 ， 它 会 “建议 ”更 新 测试 用 例 : 用 新 的 定位 方式 代 
蔡 不 工作 的 定位 方式 。 但 使 用 这 个 功能 需要 企业 版 的 许可 (license) 。 
至 于 这 个 功能 是 不 是 通过 人 工 智能 技术 实现 的 ， 在 Katalon Studio 的 官方 
指南 中 并 没有 强调 。 








当然 ， 作 为 一 款 出 色 的 测试 工具 ，Katalon Studio 提 供 多 种 plug-in 以 
支持 与 Jira、Git、Jenkins、JMeter 和 Sauce Labs 等 多 款 工 具 的 集成 ， 从 而 
实现 与 测 斌 管理、 缺陷 管理 和 持续 集成 管理 的 集成 。 


(2) TestCraft 


TestCraft 是 一 蒜 隘 业 软 件 ( 见 图 10-17〉， 以 SaaS 的 模式 为 Web 应 用 
提供 自动 化 测试 服务 ， 用 户 通 过 账号 登录 Web 管 理 界 面 ， 因 此 它 也 是 一 
球 云 化 的 测试 工具 。 它 的 底层 也 是 基于 Selenium 框 架 。TestCraft 通 过 两 
种 方式 生成 测试 用 例 。 第 1 种 方式 是 通过 图 形 界 面 建 模 生 成 、 调 整 测试 
步 又 ， 等 功能 实现 后 ， 再 为 每 个 测试 步骤 添加 控件 元 素 。 因 此 ， 这 也 可 
以 说 是 一 于 基于 模型 的 测试 工具 一 一 在 需求 分 析 阶 段 就 创建 测试 步骤 ， 
有 助 于 团队 内 部 通过 沟通 澄清 需求 。 第 2 种 方式 是 在 软件 功能 实现 以 后 
通过 录制 -回放 生成 测试 用 例 。 
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图 10-17 ”TestCraft 测 试用 例 设计 界面 


TestCraft 文 持 目 前 主流 的 浏览 器 ， 可 以 同时 在 多 个 浏览 器 上 运行 测 
试 ; 可 以 为 一 个 测试 用 例 创 建 多 个 测试 数据 集 ， 有 定时 执行 和 测试 结果 
通知 功能 ; 文 持 与 持续 集成 /持续 交付 管理 工具 《〈 如 Jenkins) 以 及 Jira 的 
集成 。TestCraft 提 供 了 控件 的 动态 重新 绑 定 机 制 (on-the-fly 
rebinding) ， 在 测试 执行 过 程 中 修复 元 素 定 位 。TestCraft 的 优势 在 于 为 
每 一 个 测试 用 例 创 建 一 个 模型 ， 可 以 直观 地 展示 测试 执行 的 路 符 ， 适 合 
设计 复杂 的 测试 场景 ， 而 其 务 势 是 只 能 使 用 专 有 的 框架 ， 无 法 导入 / 导 
出 测试 脚本 。 








(3) Perfecto 


Perfecto 是 一 球 隘 业 软 件 ， 提 供 云 化 的 测试 上 自动 化 解决 方案 ， 用 于 
Web 和 移动 应 用 的 测试 。 基 于 录制 -回放 技术 的 无 代码 化 UI 测试 用 例 开 
发 是 Perfecto 提 供 的 功能 之 一 ， 如 图 10-18 所 示 ， 可 以 实时 捕捉 界面 上 的 
操作 并 在 左 侧 生 成 和 调整 测试 步骤 。 基 于 人 工 智 能 的 自 人 钝 功能 让 测试 肢 
本 能 够 连续 运行 ， 自 我 完善 。 另 外 ， 它 还 提供 基于 人 工 智 能 技术 的 测试 


分 析 和 缺陷 分 类 ， 帮 助 用 户 快速 定位 缺陷 。 
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图 10-18 ”Perfecto 测 试用 例 设 计 界 面 
(4) TestingWhiz 


TestingWhiz 文 持 Web 及 移动 端的 UI 目 动 化 测试 ， 以 及 Web Service 
的 API 测 试 。 它 基于 关键 字 和 数据 驱动 测试 用 例 。 它 提供 的 Visual 
Recorder 可 以 支持 桌面 应 用 、Flash 应 用 的 元 素 识 别 和 Web UI 测 试 。 
TestingWhiz 提 供 的 recorder 功 能 可 以 录制 和 存储 Web 应 用 控件 、 蝎 面 应 
用 控件 ， 以 及 移动 应 用 的 控件 。 


除 上 述 工 具 之 外 ， 还 有 CloudQA、TestProject 和 mabl 等 其 他 的 无 代 
码 化 的 自动 化 测试 工具 。 基 于 录制 -回放 技术 的 UI 自 动 化 测试 工具 很 早 
就 有 ， 当 时 主要 针对 果 面 应 用 ， 也 可 以 认为 它们 是 无 代码 化 的 自动 化 测 
试 工 具 的 前 身 。 在 国际 敏捷 联盟 网 站 整理 的 《敏捷 实践 编 年 史 》 

(“Agile Practices Timeline”) 中 ， 也 有 这 类 工具 的 相关 记载 。 














1990 年 ， 黑 盒 (black box ) 测试 技术 在 测试 学 科 中 占据 了 主导 地 


位 ， 尤 其 是 “捕获 与 回放 ”类 型 的 测试 工具 。 





1988 年 一 1990 年 期 间 ， 事 件 驱 动 的 GUI 软 件 的 兴起 及 其 特定 的 测试 
方面 的 挑战 为 “捕获 与 回放 ”类 上 自动 化 测试 工具 创造 了 机 会 。 这 类 工具 由 
Segue、Mercury 等 公司 开发 ， 并 在 此 后 10 年 间 占 据 了 市 场 主导 地 位 。 











1997 和 年， 肯特 :贝克 和 埃 里 克 : 伽 玛 合 作 开 发 了 测试 工具 JUnit， 有 灵感 
来 自 贝克 早期 开发 的 工具 SUnit。JUnit 在 后 来 几 年 日 益 流 行 ， 这 标志 着 
测试 工具 “捕获 与 回放 ”时 代 的 落幕 。 


这 样 看 起 来 无 代码 化 也 不 是 一 个 新 生 事 物 ， 笔 者 想起 20 年 前 使 用 
Silk Test 做 果 面 应 用 的 UI 上 自动 化 测试 的 经 历 : 几乎 每 个 操作 系统 上 的 测 
试 脚本 都 需要 重新 适 配 ， 有 了 新 的 软件 版 本 也 经 常 不 得 不 重新 调试 测试 
脚本 ， 笔 者 尝试 了 一 年 后 终于 放弃 。 传 统 的 录制 -回放 测试 工具 代码 结 
构 化 差 ， 不 支持 数据 驱动 ， 在 测试 用 例 组 织 和 维护 方面 做 得 比较 差 。 现 
在 的 无 代码 化 的 自动 化 测试 工具 能 够 提供 的 功能 远 远 不 止 Web UI 的 录 
制 -回放 这 么 简单 。 目 前 ， 整 个 测试 生态 也 远 比 那 时 候 要 成 熟 很 多 ， 很 
多 工具 支持 与 其 他 工具 的 集成 ， 自 己 不 具备 的 功能 可 以 通过 plug-in 与 其 
他 工具 进行 集成 来 实现 。 单 就 录制 -回放 功能 来 说 ， 好 不 好 用 关键 还 在 
于 实现 的 细节 。 表 10-6 简 单 对 比 了 Selenium IDE 和 Katalon Studio 的 录制 - 
回放 功能 。 











表 10-6 Selenium IDE 和 Katalon Studio 关 于 录制 -回放 功能 的 对 比 


| Selenium IDE Katalon Studio 























测试 脚 
本 执行 


浏览 器 : Chrome、 


Firefox 








先 安装 所 支持 的 浏览 
器 ， 添 加 对 应 的 
Selenium IDE plug-in 


实时 生成 每 一 个 测试 


步骤 


可 以 对 测试 步骤 和 输 
入 数据 进行 增加 、 删 
除 和 修改 





和 录制 脚本 的 浏 
览 器 中 运行 








文 持 导出 成 多 种 语言 





















































浏览 器 ; Chrome、Firefox、IE、Safari、Edge、 
Edge Chromium、 Firefox 
移动 端 : Android、 


Windows 桌 面 应 用 


iOS 








不 需要 事先 安装 浏览 器 ， 录 制 测试 脚本 时 在 界面 上 
选择 浏览 器 类 型 即 可 








实时 生成 每 一 个 测试 步骤 ， 并 在 浏览 器 上 同时 捕获 
操作 的 界面 元 素 ， 录 制 完 成 后 存储 到 object 









































1 完 
repository 中 以 供 编辑 和 重用 








可 以 对 测试 步骤 和 输入 数据 进行 增加 、 删 除 和 修 
改 。 支 持 的 关键 字 比 较 多 ， 也 支持 多 种 脚本 逻辑 的 
语句 ， 如 if、else、for 和 while 等 











目前 支持 5 种 浏览 器 (Chrome、Firefox、Safari、 
IE、Edge) ， 执 行 脚本 时 可 选择 其 中 一 种 ， 无 须 安 
装 。 收 费 版 有 脚本 自 愈 功 能 


























只 文 持 Groovy 





在 界面 上 可 以 直接 切换 显示 测试 脚本 和 测试 代码 并 
进行 编辑 











数据 驱 | 需要 编辑 导出 的 测试 | 支持 在 界面 上 创建 、 编 辑 和 导入 数据 文件 
动 代码 以 支持 数据 驱动 











10.5 彻底 实现 持续 测试 


与 持续 集成 、 持 续 部 蜀 和 持续 运 维 一 样 ， 持 续 测 试 同样 是 保证 企业 
问 敏 捷 和 DevOps 转 型 成 功 的 关键 因素 。 敏 捷 开 发 和 DevOps 的 目标 是 实 
现 持 续 交 付 ， 而 只 有 实现 持续 测试 才 可 能 实现 持续 交付 。 在 2.4T， 笔 
者 给 持续 测试 下 了 一 个 定义 : “持续 测试 就 是 从 产品 发 布 计划 开始 ， 直 
到 交付 、 运 维 ， 测 试 融 于 其 中 ， 并 与 开发 形影不离 ， 随 时 暴露 产品 的 
质量 风险 ， 随 时 了 解 产品 质量 状态 ， 从 而 满足 持续 交付 对 测试 、 质 量 
管理 所 提出 的 新 要 求 。” 可 以 看 出 ， 敏 捷 开 及 中 的 一 切 测 试 活动 都 属于 
持续 测试 ， 甚 至 可 以 说 ,敏捷 测 试 束 是 持续 测试 。 





在 持续 交付 流水 线 中 ， 相 比 持续 集成 、 持 续 部 署 等 ， 持 续 测 试 的 建 
设 相对 落后 ， 这 也 是 大 家 认为 软件 测试 是 影响 持续 交付 的 主要 原因 。 持 
续 测 试 作为 一 个 主题 在 国内 被 讨论 的 还 不 多 ， 但 在 国外 已 经 成 为 促进 敏 
捷 和 DevOps 转 型 的 关注 点 之 一 。 展 望 软件 测试 的 未 来 ， 持 续 测 试 必定 
是 未 来 几 年 里 最 具 确 定性 的 趋势 之 一 。 








有 不 少 公司 相继 推出 持续 测试 工具 及 其 解决 方案 。 其 中 ， 在 奥地利 
的 软件 测试 公司 Tricentis 推 出 的 产品 中 ， 包 括 了 持续 测试 平台 Tricentis 
Tosca， 它 文 持 无 代码 化 的 和 基于 人 工 千 能 的 端 到 端 上 自动化 测试 。 该 公 
司 在 2019 年 出 版 了 《企业 级 持续 测试 : 软件 测试 的 敏捷 化 和 DevOps 化 


转型 》 (Enterprise Continuous Testing: Transforming Testing for Agile and 
DevOps) 一 书 。Tricentis 出 版 的 这 本 书 在 实践 的 基础 上 提供 了 一 个 企业 
级 持续 测试 的 实现 框架 ， 对 于 正在 或 者 希望 进行 敏捷 转型 的 企业 来 说 很 
有 借鉴 意义 。 不 仅 如 此 ，Tricentis 出 版 的 这 本 书 中 推荐 的 技术 手段 和 方 
法 与 本 书 介绍 的 很 多 优秀 实践 是 完全 一 致 的 ， 因 此 有 必要 把 它 介 绍 给 读 
者 ， 以 便 帮 助 读者 更 深刻 地 理解 持续 测试 ， 并 在 此 基础 上 设计 并 构建 适 
合 所 在 团队 的 持续 测试 框 染 。 


10.5.1 重新 理解 持续 测试 





DevOps 意 味 着 尽 可 能 高 效 地 发 布 有 市 场 竞争 力 的 软件 产品 。 对 于 
软件 测试 ， 这 意味 者 : 需要 帮助 研发 团队 尽 可 能 高 效 地 发 现 并 修复 软件 
缺陷 ， 以 及 帮助 决策 者 快速 决定 一 个 软件 版 本 是 人 否 可 以 交付 给 客户 。 








然而 ， 软 件 测 试 面临 的 如 下 问题 使 得 测试 成 为 实现 DevOps 的 障 


但 。 


。 即使 在 自动 化 水 平 较 高 的 组 织 中 ， 测 试 人 员 仍 然 花 费 平均 17% 的 工 
作 时 间 分 析 由 于 各 种 不 稳定 因素 造成 的 测试 结果 的 误 报 ， 还 会 花费 
149% 的 时 间 维 护 目 动 化 脚本 。 


。 超过 一 半 的 测试 人 员 每 周 会 化 费 5 一 15 小 时 准备 和 管理 测试 数据 。 


。 84% 的 测试 人 员 遭 遇 过 因为 测试 环境 的 问题 而 造成 的 测试 任务 的 延 


运 ; 


一 套 自动 化 回归 测试 集 平 均 需 要 16.5 天 执行 一 遍 ， 但 是 敏捷 开发 的 
一 次 迭代 时 间 普 所 要 求 是 两 周 。 


一 个 软件 应 用 平均 要 与 52 个 第 3 方 系统 组 件 进行 交互 ， 这 些 第 3 方 系 
统 组 件 包括 其 他 的 微服 务 和 接口 ， 以 及 各 式 各 样 的 移动 设备 。 


上 述 数 据 来 自 《 企 业 级 持续 测试 ， 软件 测试 的 敏捷 化 和 DevOps 化 
转型 》 这 本 书 。 通 过 上 述 数据 ， 该 者 可 以 理解 为 什么 软件 冲 试 会 成 为 敏 
捷 开 发 的 主要 瓶颈 。 另 外 ，Tricentis 公 司 还 提出 一 个 有 价值 的 观点 ， 即 
目前 只 有 9% 的 公司 会 对 业务 需求 ， 也 惑 是 用 户 故 事 进行 正式 的 风险 评 
佑 ， 大 多 数 的 团队 仅仅 依靠 直觉 来 判断 哪些 产品 需求 的 风险 高 ， 从 而 应 
该 优先 并 且 充 分 测试 。 不 同 于 我 们 在 第 6 革 介 绍 的 测试 风险 ， 这 里 的 风 
险 专 门 指 产品 需求 的 业务 风险 。 这 包括 两 个 方面 : 按照 需求 实现 的 功能 
特性 被 用 户 使 用 的 频率 ， 一 旦 失效 对 业务 造成 的 危害 或 影响 。 不 对 需求 
的 风险 进行 合理 评估 ， 意 味 看 每 个 需求 的 测试 履 兹 京 是 凭借 直觉 定义 
的 ， 测 试 的 优先 级 也 是 凭借 直 和 党 来 划分 的 。 在 测试 时 间 有 限 的 情况 下 ， 
这 种 做 法 就 不 能 快速 、 合 理 地 挑 出 那些 风险 较 局 的 测试 用 来 执行 。 




















要 实现 彻底 的 持续 测试 ， 束 必须 致力 于 解决 上 述 问题 ， 各 个 击破 ， 
在 正确 的 时 间 执 行 正 确 的 测试 ， 在 该 精简 测试 范围 的 时 候 进 行 科学 合理 
的 精简 ， 从 而 给 诀 策 者 提供 快速 的 质量 反馈 。 有 具体 来 说 ， 就 是 要 实现 如 
下 几 个 方面 。 


量化 需求 的 业务 风险 ， 从 而 可 以 量化 测试 用 例 的 业务 风险 ， 以 及 友 
现 的 缺陷 的 业务 风险 。 


测试 设计 尺 可 能 有 效 地 和 窗 盖 业务 风险 。 


实现 低 维护 成 本 的 快速 的 目 动 化 测试 。 





失败 的 、 没 有 执行 的 测试 用 例 对 应 的 风险 是 可 见 的、 量化 的 。 


在 持续 集成 环境 中 为 持续 地 、 一 致 地 执行 自动 化 测试 做 准备 。 


手工 测试 采用 探索 式 测试 来 执行 ， 做 好 手工 测试 和 测试 自动 化 之 间 
的 平衡 。 


10.5.2 ”持续 测试 的 实现 框架 


持续 测试 的 实现 框架 如 图 10-19 所 示 ， 分 为 3 个 模块 : 实现 基础 、 中 
间 过 程 和 技术 手段 方法。 实现 基础 包括 测试 数据 管理 、DevOps 工 具 链 
集成 和 服务 虚拟 化 ， 中 间 过 程 包括 基于 风险 的 测试 分 析 和 测试 影响 分 
析 ; 技术 手段 /方法 包括 探索 式 测试 、 测 试 自动 化 和 测试 设计 方法 。 











技术 手段 方法 。 | 。 探索 式 测试 “| | 测试 











中 间 过 程 i 基于 风险 的 测试 分 析 | 
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图 10-19 “持续 测试 的 实现 框架 
1. 测试 数据 管理 


测试 数据 的 准备 和 管理 是 软件 测试 中 重要 的 环节 ， 也 是 自动 化 测试 
中 非常 重要 的 环节 ， 系 统 问 到 端的 自动 化 回归 测试 需要 测试 数据 管理 
(test data management，TDM) 功能 的 文 持 。 持 续 测试 需要 考虑 如 何 缩 
短 测试 数据 的 创建 和 维护 所 需要 的 时 间 。 


测试 数据 的 主要 来 源 有 两 种 ， 一 种 是 使 用 生产 数据 ， 但 需要 对 数据 
进行 脱 敏 ， 以 满足 通用 数据 保护 条 例 (general data protection 
regulation，GDPR) 的 要 求 ， 男 一 种 是 生成 需要 的 测试 数据 。 我 们 在 7.7 
节 中 介绍 过 可 以 基于 开源 工具 、 自 定义 工具 或 模糊 测试 工具 等 快速 生成 
所 需 的 测试 数据 。 在 测试 中 ， 经 常 需 要 综合 利用 这 两 种 方式 来 满足 不 同 
的 测试 需要 : 经 过 脱 敏 处 理 的 生产 数据 可 以 更 快速 地 歼 盖 常见 的 测试 场 
景 ， 而 生成 的 测试 数据 可 以 实现 更 广泛 的 履 盖 范围 ， 如 一 些 异常 场景 需 
要 的 数据 在 生产 环境 中 难以 发 现 。 





测试 数据 宣 理 服务 需要 考虑 如 何 隔离 测试 数据 的 使 用 ， 避 免 多 个 测 
试 任务 修改 测试 数据 造成 的 互相 干扰 ; 还 需要 考虑 哪些 数据 可 以 事先 准 
备 ， 以 及 哪些 数据 需要 在 测试 执行 中 实时 生成 。 


2. DevOps 工 具 链 集成 


随 着 DevOps 工 具 链 的 形成 和 日 益 丰 富 ， 企 业 可 以 选择 各 种 各 样 的 
工具 建设 自动 化 的 软件 交付 流水 线 。 这 些 工具 的 集成 和 协同 越 有 效 ， 


队 成 员 的 工作 和 协作 束 越 高 效 。 测 试 工具 与 持续 集成 系统 的 集成 是 将 测 
试 活动 无 颖 融合 到 持续 交付 流水 线 的 基础 ， 这 也 是 对 于 现代 测试 工具 的 
基本 要 求 。 





测试 工具 应 该 具备 直接 集成 到 持续 集成 环境 中 的 能 力 ， 或 者 先 连接 
到 一 个 专门 的 测试 管理 平台 ， 该 平台 可 以 协调 测试 管理 、 跟 躁 和 报告 ; 
男 外 ， 在 需要 时 利用 加 速 测 试 执行 的 技术 ， 如 分 布 式 测试 执行 、 故 障 恢 
复 等 ， 可 以 帮助 团队 在 限定 的 时 间 内 完成 更 多 的 测试 。 


3. 服务 虚拟 化 


我 们 在 前 面 4.4 市 介绍 过 虚拟 化 搁 术 。 服 务虚 拟 化 是 一 种 模拟 
(mock) 技术 ， 即 使 被 测试 对 象 依赖 的 系统 组 件 〈《API、 第 3 方 应 用 
等 ) 不 能 被 正常 访问 ， 测 试 也 可 以 自动 运行 。 服 务虚 拟 化 的 目标 是 保证 
测试 环境 不 影响 测试 的 速度 、 准 确 性 和 完整 性 ， 测 试 可 以 达到 业务 期 望 
的 质量 和 效能 。 





现代 软件 应 用 系统 越 来 越 复杂 ， 搭 建 测 试 环境 也 变 得 越 来 越 具 有 挑 
战 性 ， 因 此 有 的 测试 干脆 直接 在 生产 环境 中 进行 ， 但 不 可 能 把 所 有 研 友 
阶段 的 测试 全 部 右 移 。 当 被 测试 对 象 需要 与 所 依赖 的 系统 组 件 交互 时 ， 
如 采 被 依赖 的 系统 组 件 处 于 下 列 状 态 ， 就 变 得 不 可 用 。 








。 还 在 开发 中 的 、 不 可 靠 的 第 3 方 组 件 。 


。 超出 所 在 研发 团队 的 控制 范围 的 第 3 方 组 件 。 


。 使 用 时 容量 或 时 间 有 限制 。 


。 在 测试 环境 中 难以 配置 或 部 车。 





。 不 同 团 队 需 要 同时 设置 不 同 的 测试 数据 而 引起 冲突 。 


越 复杂 的 场景 往往 越 依赖 更 多 的 系统 组 件 ， 因 此 ， 端 到 端的 自动 化 
回归 测试 束 会 有 更 多 的 限制 。 服 务虚 拟 化 可 以 消除 被 依赖 的 系统 组 件 的 
不 稳定 性 ， 把 测试 和 与 之 相互 作用 的 各 种 依赖 性 隔离 ， 为 自动 化 测试 提 
供 稳定 的 环境 。 当 测试 失败 时 ， 可 以 排除 与 之 相关 的 测试 环境 问题 ， 更 
方便 地 进行 问题 定位 ， 也 可 以 为 复 现 缺陷 和 验证 修复 提供 稳定 且 可 菲 的 
测试 环境 。 





另外 ， 服 务虚 拟 化 还 提供 了 一 种 简单 的 方法 来 模拟 测试 环境 中 的 边 
毕 情 况 和 错误 条 件 下 的 行为 ， 以 便 覆 亩 更 多 的 测试 场景 。 例 如 ， 验 证 被 
测 系 统 在 不 同 的 依赖 组 合 在 关闭 、 延 人 时 的 状态 。 





4. 基于 风险 的 测试 分 析 


在 敏捷 开发 和 DevOps 环 境 中 ， 软 件 发 布 的 决策 需要 快速 制定 ， 最 
好 是 直观 的 、 目 动 的 和 实时 的 。 传 统 的 基于 测试 用 例 数 量 的 测试 结果 已 
经 不 能 满足 快速 决策 的 要 求 。 为 什么 这 样 说 呢 ? 很 多 团队 在 测试 结束 后 
提交 的 测试 结果 第 第 是 如 下 这 样 的 。 





。 总 共有 1 万 条 测试 用 例 ， 测 试 覆 兰 率 为 95%。 


。 90% 的 测试 用 例 (9000 条 ) 执行 成 功 。 


。 5% 的 测试 用 例 (500 条 )〉 执行 失败 ， 相 关 的 功能 模块 包括 .……… 


。 5% 的 测试 用 例 500 条) 没有 执行 ， 相 关 的 功能 模块 包括 .….……. 





组 织 的 决 集团 队 面 临 的 问题 是 ， 很 难 基 于 上 述 报告 直观 地 判断 一 个 
软件 是 否 可 以 发 布 。 他 们 常常 会 有 下 列 疑 问 。 

















。 没有 者 盖 到 的 需求 是 不 是 有 很 大 风险 ? 





。 失败 的 和 没有 执行 的 测试 用 例 所 关联 的 功能 特性 是 不 是 关键 的 业务 
功能 ? 








。 对 于 用 户 会 造成 什么 影响 ? 


因此 ， 几 乎 总 是 需要 组 织 发 布 前 的 评审 会 来 了 解 测 试 结果 背后 的 细 
节 ， 才 能 做 出 判断 。 这 不 但 会 浪费 时 间 ， 而 且 会 因为 主观 或 仓促 的 判断 
错误 估计 了 质量 风险 。 以 测试 覆盖 率 为 例 ， 测 试 覆 盖 率 只 告诉 我 们 一 个 
应 用 的 功能 点 被 测试 用 例 履 盖 的 百分比 ， 如 果 一 个 应 用 总 共有 100 个 功 
能 点 ， 测 试 了 其 中 95 个 ， 那 么 测试 履 新 率 为 95%。 如 果 每 个 功能 点 都 同 
样 重要 ， 这 个 指标 是 有 意义 的 ， 但 实际 上 并 非 如 此 。 例 如 ， 一 个 在 线 教 
育 App 的 听课 功能 肯定 比 课 程 推广 功能 更 重要 。 如 果 5% 没 有 被 测试 覆盖 
的 功能 点 正好 包括 听课 功能 ， 那 么 相应 的 软件 版 本 还 能 发 布 吗 ? 





为 了 解决 上 述 问题 ，Tricentis 公 司 提出 了 一 种 新 的 数字 化 的 测试 范 
围 优化 方法 ， 其 过 程 如 图 10-20 所 示 ， 主 要 包括 以 下 几 点 : 


1) 对 需求 进行 业务 风险 的 量化 评 佑 、 排 序 ; 


2) 设计 测试 用 例 对 业务 风险 进行 有 效 履 兰 ， 





3) 建立 需求 与 测试 用 例 之 间 的 映射 关系 ， 把 需求 的 量化 风险 关联 
到 测试 用 例 ; 

4) 根据 给 定 的 测试 执行 时 间 和 业务 风险 确定 测试 的 范围 和 优先 
级 ; 


5) 在 测试 结果 的 报告 中 ， 采 用 业务 风险 覆盖 率 代替 传统 的 测试 覆 
盖 率 ， 根 据 业 务 风 险 窗 盖 率 进行 软件 发 布 的 决策 。 
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图 10-20 ”基于 业务 风险 的 测试 范围 优化 过 程 





这 个 方法 的 亮点 在 于 需求 风险 的 量化 评估 和 根据 业务 风险 履 盖 率 进 
行 软件 发 布 的 决策 。 

首先 介绍 需求 风险 的 量化 评估 ， 这 里 需要 解释 几 个 术语 : 需求 的 业 
务 风险 (business risk) 、 风 险 权 重 、 风 险 页 献 率 (risk contribution ) 和 
风险 覆盖 率 (risk coverage) 。 

需求 的 业务 风险 用 来 量化 一 个 需求 ， 即 Epic 或 用 户 故 事 对 业务 产生 
负面 影响 的 可 能 性 ， 公 式 如 下 。 


业务 风险 = 使 用 频率 x 失效 危害 





使 用 频率 (frequency) 是 指 对 需求 对 应 的 功 
上 度量。 如果 用 户 经 常 使 用 一 个 功能 ， 那 么 这 个 功 


特性 用 户 使 用 频率 的 





失效 危害 (damage) 是 指 对 需求 对 应 的 功能 特性 失效 可 能 导致 的 损 
失 进 行 的 有 度量 。 这 包括 是 否 会 造成 核心 功能 的 瘫痪 、 是 否 只 是 造成 使 用 
上 的 不 便 、 是 否 会 造成 重大 的 财务 损失 ， 以 及 有 没有 监管 违规 等 。 





某 个 功能 特性 的 用 户 使 用 频率 越 高 ， 并 且 一 旦 失效 可 能 造成 的 损害 
越 大 ， 业 务 风 险 就 越 高 。 














风险 绝对 权重 (absolute weight) 是 根据 每 个 需求 的 使 用 频率 和 失 
效 危 害 按照 下 面 的 公式 计算 出 来 的 。 


风险 绝对 权重 =2 使 用 频率 x2 失 效 危 害 


用 户 故 事 的 风险 绝对 权重 按照 上 面 的 公式 直接 计算 ，Epic 的 风险 绝 
对 权重 是 对 其 包含 的 用 户 故 事 的 风险 绝对 权重 求 和 。 











风险 的 相对 权重 (relative weight) 是 指 每 个 需求 相对 于 同一 层级 中 
其 他 需求 的 业务 风险 权重 比例 。 例 如 ， 在 某 个 Epic 下 面 ， 一 共有 3 个 用 
户 故 事 ， 业 务 风 险 的 绝对 权重 分 别 是 256、128 和 128， 那 么 用 户 故 事 的 
业务 风险 的 相对 权重 分 别 为 50%、25% 和 25%。 


风险 页 献 紊 是 指 每 个 需求 占 所 有 需求 的 风险 页 献 比例 。 
下 面 是 对 需求 进行 业务 风险 量化 评估 、 排 序 的 推荐 流程 。 


1) 项 目 关 键 利益 相关 者 承诺 参加 一 个 为 期 一 天 半 的 会 议 ， 参 与 风 


险 评 佑 。 


2) 对 于 Epic、 用 户 故事 等 需要 测试 的 业务 需求 进行 简要 评审 。 如 
果 软 件 系 统 非 常 复 杂 ， 那 么 建议 一 开始 把 注意 力 放 在 Epic 级 别 ， 而 不 是 
用 户 故 事 级 别 。 








3) 按照 每 个 需求 实际 或 者 预期 的 使 用 频率 对 需求 进行 风险 排序 ， 

从 选择 最 钊 用 的 需求 开始 ， 将 其 列 为 5 级 。 接 下 来 ， 将 最 不 利用 的 需求 
列 为 1 级 。 随 后 ， 把 其 他 的 需求 与 最 第 用 的 需求 和 最 不 第 用 的 需求 进行 
比较 ， 高 级 别 需求 的 使 用 频率 是 低级 别 需 求 的 2 倍 ， 例 如 ，2 级 需求 的 使 
用 频率 是 1 级 需求 的 使 用 频率 的 2 倍 ，3 级 需求 的 使 用 频率 是 2 级 需求 的 使 
用 频率 的 2 倍 。 接 下 来 对 造成 的 损害 重复 相同 的 过 程 : 如 果 这 个 需求 对 
应 的 功能 失效 ， 那 么 可 能 导致 的 损害 级 别 。 首 先 ， 对 每 个 Epic 级 别 的 需 
求 进行 排序 ， 然 后 ， 对 每 个 Epic 包 含 的 用 户 故 事 进行 排序 。 























4) 在 排序 完成 后 ， 给 予 其 他 相关 方 评 审 风险 评级 结果 的 机 会 。 


5) 计算 每 个 用 户 故 事 和 Epic 的 风险 绝对 权重 、 风 险 相 对 权重 ， 以 
及 风险 贡献 率 。 


以 在 线 教育 App 第 一 批 交付 (App 1.0) 的 用 户 故 事 为 例 ， 表 10-7 列 
出 了 用 户 故 事 和 Epic 的 风险 分 析 结 果 。 其 中 ， 账 户 管理 、 课 程 购买 和 课 
程 学 习 这 3 个 Epic 的 业务 风险 最 高 ， 分 别 页 献 了 30.19% 的 业务 风险 ， 课 
程 发 现 和 课程 分 享 这 2 个 Epic 的 业务 风险 较 低 。 而 在 “账户 管理 ” 这 个 
Epic 中 ， 用 户 故 事 “ 注 册 登 录 ” 贡 献 了 94.12% 的 业务 风险 ， 远 远 高 于 另 一 
个 用 户 故 事 “ 充 值 ”的 业务 风险 。 





表 10-7 在 线 教育 App 1.0 业 务 风 险 评 估 表 


使用 频率 等 [和 害 等 | 权重 | 相对 权重 。 | 风险 贡献 
级 (%) (%) 

es 
4 | 
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这 样 ， 我 们 对 业务 风险 的 评估 就 完成 了 ， 同 时 对 要 测试 的 软件 应 用 
的 风险 所 在 有 了 一 个 清晰 、 量 化 的 认识 。 


测试 设计 方法 





一 步 要 做 的 就 是 确定 在 何 处 添加 测试 可 以 为 最 高 业务 风险 的 需求 
构建 可 接受 的 测试 窗 冀 京 ， 以 及 利用 有 效 的 测试 设计 方法 设计 测试 用 


例 ， 既 要 保证 履 盖 业务 风险 的 效果 ， 又 要 有 效率 。 


80/20 原 则 在 这 里 仍然 有 效 : 测试 20% 的 需求 覆盖 80% 的 业务 风险 。 
对 于 业务 风险 最 高 的 需求 ， 必 须 尽 可 能 履 盖 。 





关于 测试 设计 方法 ，Tricentis 公 司 在 其 出 版 的 书 中 提 到 了 等 价 类 及 
各 种 组 合 方法 (Pairwise、 正 交 实 验 和 Linear Expansion) 。 其 中 特别 推 
荐 采用 Linear Expansion， 它 可 以 用 很 少 的 测试 用 例 窗 盖 更 多 的 业务 风 


险 。 
下 面 简 单 介绍 一 下 Linear Expansion 测 试 设计 方法 。 


假设 以 下 简单 场景 : 一 个 车 险 计算 器 考虑 15 个 不 同 输入 属性 〈 性 
别 、 年 龄 、 车 辆 类 型 等 ) ， 每 个 属性 可 以 有 2 个 不 同 的 输入 值 〈 男 / 女 、 
18 一 59 岁 /60 岁 以 上 、 汽 车 /卡车 等 ) ， 每 个 属性 之 间 没 有 相互 依赖 条 
件 。 女 性 司机 会 获得 5% 的 折扣 ; 60 岁 以 上 的 司机 会 获得 5% 的 折扣 。 如 
果 采 用 Linear Expansion 方 法 ， 首 先 ， 要 定义 一 条 “straight through” 或 
者 “happy path>” 测 试用 例 ， 所 有 的 输入 属性 都 选择 最 重要 的 、 有 效 等 
价 类 的 值 ， 履 善 包含 最 大 风险 属性 值 。 例 如 ， 根 据 统 计 信 息 ， 男 性 汽 
车 司机 履 闸 了 最 广泛 的 投保 人 群 ， 那 么 这 条 测试 用 例 应 该 选择 性 别 为 
男 ， 车 辆 属性 为 卡车 等 。 这 条 训 试用 例 具 有 最 高 优先 级 ， 会 作为 冒 烟 测 
试 或 持续 集成 中 BVT 的 测试 用 例 集 的 一 部 分 。 然 后 ， 为 每 一 个 属性 设计 
一 条 测试 用 例 。 每 个 测试 都 有 一 个 明确 的 目标 : 一 个 测试 检查 针对 女性 
司机 提供 折扣 的 功能 ， 一 个 测试 针对 60 岁 以 上 的 司机 提供 折扣 的 功能 ， 
等 等 。 这 些 测试 用 例会 作为 自动 化 回归 测试 用 例 集 的 一 部 分 。 因 为 每 条 








测试 用 例 都 有 一 个 明确 的 目的 ， 如 果 某 一 条 测试 用 例 执行 失败 ， 就 很 
容易 能 够 定位 到 对 应 的 软件 代码 。 你 最 终 得 到 的 测试 用 例 数量 为 16 条 
(针对 15 个 属性 分 别 设计 一 条 测试 用 例 +1 个 “straight through” 测 试用 
例 ) 。 各 种 测试 设计 方法 对 比如 表 10-8 所 示 。 


表 10-8 各 种 测试 设计 方法 对 比 
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最 后 ， 在 执行 测试 时 ， 根 据 给 定 的 测试 执行 时 间 和 业务 风险 确定 测 
试 的 范围 和 优先 级 ， 目 标 是 达到 反馈 速度 和 业务 风险 窗 新 率 之 间 的 平 
衡 。 针 对 在 线 教育 App 1.0， 测 试 执行 风险 履 主 率 如 表 10-9 所 示 。 











表 10-9 ”在 线 教育 App 1.0 测 试 执行 风险 履 新 率 


Epie [用户 履 | 频 素 | 铸 [权重 [相对 权 [风险 责 献 [风险 覆盖 测 这 用 全 
了 等 级 | 等 级 重 (%) | 率 (%) | 率 (%) | 行 率 (%) 
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在 每 次 迭代 中 ， 需 要 更 新 对 需求 的 风险 评 佑 。 首 先 ， 在 一 个 达 代 中 
创建 一 个 用 户 故 事 列表 ， 单 独 针对 这 些 新 的 用 户 故 事 进行 风险 评估 。 在 
通 第 情况 下 ， 任 何 一 个 新 的 功能 特性 的 业务 风险 都 比 已 有 功能 的 风险 要 
高 。 在 所 有 新 的 用 户 故 事 被 验证 并 通过 后 ， 再 把 这 些 新 的 需求 合并 到 总 
的 需求 列表 中 并 在 整个 回归 测试 范围 内 进行 整体 排序 。 











基于 风险 窗 盖 率 的 测试 报告 如 表 10-10 所 示 。 





表 10-10 ”在 线 教育 App 1.0 基 于 风险 履 盖 率 的 测试 报告 





由 Passed | Failed/Blocked Not Executed 





从 中 我 们 可 以 得 到 以 下 结论 : 





739% 的 业务 风险 已 经 被 测试 并 且 通 过 ; 


4% 的 业务 风险 被 测试 但 执行 失败 ; 


16% 的 业务 风险 已 经 设计 了 测试 用 例 但 没有 执行 ; 


7% 的 业务 风险 没有 任何 测试 用 例 窗 孟 。 


我 们 从 中 可 以 直观 地 获得 这 些 数字 化 的 信息 : 风险 履 凋 与 目标 之 间 
的 兰 距 ， 失 效 的 功能 对 业务 的 影响 ， 特 定 需求 的 状态 ， 软 件 版 本 是 否 满 
足 发 布 条 件 。 


6. 测试 影响 分 析 


测试 影响 分 析 其 实 就 是 6.5 市 介绍 的 代码 依赖 性 分 析 与 精准 测试 技 


交 


在 敏捷 开发 中 ， 持 续 构 建 的 频率 很 高 ， 全 面 的 目 动 化 回归 测试 往往 
再 要 花费 几 小 时 甚 全 儿 天 的 时 间 才 能 完成 ， 但 是 持续 测试 不 允许 这 么 长 
的 反馈 时 间 。 测 试 影响 分 析 拉 术 由 蔡 尼 黑 工 业 大 学 (Technical 





University of Munich) 首创 ， 它 通过 以 下 两 个 原则 迅速 又 露 和 目 上 一 次 测 
试 运行 以 来 添加 /修改 的 代码 中 的 缺陷 。 


。 将 回归 测试 用 例 关 联 到 软件 应 用 的 代码 ， 在 选择 回归 测试 的 测试 范 
围 时 ， 仅 仅 选 择 与 最 新 一 轮 代 码 更 改 相 关联 的 训 试 用 例 ， 而 没 必 要 
浪费 时 间 去 执行 代码 没有 修改 的 测试 用 例 。 





。 根据 检测 到 缺陷 的 可 能 性 对 这 些 回归 测试 用 例 进行 排序 ， 优 先 执行 
那些 容易 暴露 缺陷 的 测试 用 例 。 研 究 表 明 ， 这 种 方法 可 以 用 1% 的 
执行 时 间 发 现 80% 的 错误 构建 ， 用 2% 的 执行 时 间 发 现 90% 的 错误 构 
建 。 换 句 话说 ， 测 试 速度 可 以 提高 100 倍 ， 但 仍然 可 以 发 现 大 多 数 
问题 ， 显 然 这 是 优化 持续 测试 的 理想 选择 。 











7. 探索 式 测试 











测试 自动 化 适合 反复 检查 增 量 应 用 的 更 改 是 否 会 破 环 现 有 功能 ， 但 
在 验证 新 的 功能 特性 方面 存在 不 足 。 采 用 探索 式 测 试 进行 新 功能 的 验 
证 ， 可 以 在 自动 化 测试 之 前 快速 地 发 现 缺陷 。 关 于 这 一 点 ， 我 们 已 经 在 
7.9 节 进行 了 详细 痔 述 。 因 此 ， 下 面 只 简单 地 概括 探索 式 测试 在 持续 训 
试 中 的 作用 。 





。 快速 暴露 缺陷 ， 包 括 采 用 其 他 测试 方式 找 不 到 的 缺陷 。 充 分 利用 了 
人 类 智 意 ， 探 索 陈 测试 可 以 蓝 凋 更 广 的 测试 范围 ， 包 括 更 多 的 测试 
场景 、 对 异 毅 测试 场景 的 柳 凋 和 用 户 角度 的 测试 。 读 者 可 能 会 有 这 
样 的 体验 ， 如 采 严 格 按照 基于 脚本 的 测试 用 例 来 执行 测试 ， 发 现 不 


速 
类 











了 多 少 缺陷 ， 经 第 需要 做 更 多 的 扩展 测试 。 


组 织 路 职能 团队 成 员 一 起 进行 探索 式 测 试 ， 包 括 开 有 发 人 员 、 产 品 负 
责 人 和 业务 分 析 人 员 等 。 来 目 不 同 专业 领域 的 成 员 可 以 带 来 不 同 的 
专业 知识 。 有 了 这 样 一 个 人 员 组 成 更 多 样 化 的 、 更 大 的 团队 参与 测 
试 ， 不 但 可 以 在 更 短 的 时 间 内 完成 更 多 的 测试 ， 而 且 可 以 暴露 更 三 
泛 的 问题 ， 并 降低 关键 问题 被 忽视 的 风险 。 





在 转化 为 自动 化 测试 之 前 ， 快 速 发 现 缺 陷 。 如 果 使 用 探索 式 测试 工 
具 自 动 记录 测试 步 又， 则 发 现 的 任何 缺陷 都 很 容易 被 复 现 。 





. 测试 目 动 化 


为 什么 敏捷 化 、DevOps 让 自动 化 测试 势 在 必 行 ? 


软件 越 来 越 复 杂 ， 而 且 采 用 分 布 式 架构 ， 软 件 发 布 的 速度 非常 快 ， 
但 开发 时 间 有 限 ， 手 工 测试 的 周期 太 长 ， 如 果 不 为 每 次 达 代 中 的 测 
试 进行 认真 的 设计 并 引入 口水 平 的 测试 自动 化 ， 那 么 是 不 可 能 完成 
履 盖 所 有 需要 的 测试 范围 的 。 














研发 团队 期 待 持续 的 、 近 实时 的 反 饿 。 如 果 不 能 对 最 新 的 更 改 带 来 
的 影响 提供 快速 反 饿 ， 那 么 加 速 交付 会 融 来 很 大 的 业务 风险 。 


优秀 的 企业 比 以 往 更 加 重视 质量 。 虽 然 企 业 期 望 以 比 以 往 更 快 的 速 
度 交 付 更 多 的 创新 产品 ， 但 同时 也 认识 到 ， 轻 视 质量 将 会 导致 品牌 
流失 和 客户 流失 。 在 受 监 管 的 行业 ， 质 量 不 达标 的 后 果 更 为 严重 。 





目前 ， 在 很 多 组 织 中 ， 系 统 端 到 病 的 功能 测试 自动 化 水 平 很 低 。 为 
了 实现 连续 测试 ， 站 到 站 的 功能 测试 自动 化 率 需 要 超过 85%， 而 且 应 该 
集中 在 API 或 消息 级 别 。 利 用 服务 虚拟 化 来 模拟 所 依赖 的 API 和 其 他 组 
件 ，UI 测 试 上 自动 化 将 不 再 是 目 动 化 的 焦点 。 





10.5.3 ”持续 测试 成 熟 度 模型 


基于 上 述 实 现 框架 ，Tricentis 公 司 提出 了 持续 测试 成 熟 度 模型 ， 见 
表 10-11。 


表 10-11 持续 测试 成 熟 度 模型 
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注 : v 表 示 在 对 应 级 别 已 经 应 用 ， 对 应 数量 代表 应 用 的 程度 。 在 成 
熟 度 模型 中 ， 将 持续 测试 按照 成 亢 度 划分 为 5 个 等 级 。 


























1) I 级 。 在 这 个 阶段 ， 测 试用 例 的 数量 是 关键 的 度量 指标 。 测 试 人 
员 根据 感觉 来 判断 哪些 需求 需要 设计 更 多 的 测试 来 覆盖 ， 基 本 采用 手工 





测试 ， 或 部 分 采用 基于 脚本 的 测试 目 动 化 方式 ， 导 致 很 多 测试 结果 的 误 
报 ， 因 此 测试 脚本 需要 频繁 地 进行 维护 ， 测 试 人 员 需 要 手工 准备 和 维护 
测试 数据 ， 需 要 等 待 测试 依赖 的 第 3 方 系统 组 件 被 部 署 到 测试 环境 中 才 
能 进行 测试 。 期 望 的 效率 提升 1.3 倍 。 


2) I 级 。 己 经 采用 基于 业务 风险 的 测试 分 析 方 法 指导 测试 的 分 
析 、 设 计 和 执行 ， 风 险 履 盖 率 成 为 测试 用 例 设 计 和 执行 的 关键 指标 ， 测 
试 目 动 化 仍然 集中 在 UI 自动 化 测试 ， 但 开始 采用 基于 模型 的 测试 自动 化 
技术 ， 这 可 以 显著 地 降低 误 报 紊 和 维护 成 本 ; 因为 仍然 没有 综合 的 测试 
数据 管理 服务 ， 所 以 训 试 数据 基本 在 上 自动 化 测试 执行 时 生成 ， 目 动 化 无 
法 履 兰 复杂 的 测试 场景 。 期 望 的 效率 提升 3 倍 。 














3) II 级 。 基 于 会 话 的 探索 式 测试 被 采用 ; 采用 有 效 的 测试 用 例 设 
计 方 法 保证 测试 用 例 履 盖 业 务 风 险 的 效果 和 效率 ， 如 Linear Expansion 。 
如 果 软 件 的 功能 可 以 通过 API 被 访问 ， 那 么 测试 人 员 会 采用 API 进 行 自 
动 化 测试 ， 当 API 测 试 不 适用 或 者 效率 不 蜗 时 ， 采 用 基于 模型 的 UI 自动 
化 测试 ， 目 动 化 测试 在 持续 集成 环境 中 与 构建 、 部 区 等 工具 集成 在 一 起 
使 用 。 期 望 的 效率 提升 5 倍 。 








4) IV 级 。 测 试 数据 管理 服务 为 测试 目 动 化 提供 测试 数据 ， 在 被 测 
系统 所 依赖 的 第 3 方 系统 组 件 不 稳定 或 不 可 用 的 情况 下 ， 服 务虚 拟 化 确 
保 测 试 可 以 进行 ， 测试 数 据 管 理 和 服务 虚拟 化 的 引入 让 自动 化 测试 能 够 
履 产 更 复兴 的 API 测 试 和 站 到 端的 测试 ， 并 保证 测试 可 以 持续 运行 ， 测 
试 作为 持续 交付 流水 线 的 一 部 分 持续 运行 ， 为 要 发 布 的 软件 版 本 提供 业 
务 风 险 的 即时 反馈 。 期 望 的 效率 提升 8 倍 。 


5) V 级 。 综 合 的 测试 自动 化 已 经 建立 ， 并 且 得 到 更 强大 的 服务 虚 
拟 化 和 测试 数据 管理 服务 的 支持 ; 组 织 建立 了 度量 指标 来 监控 和 持续 地 
改进 软件 测试 过 程 的 有 效 性 。 期 望 的 效率 提升 13 倍 。 





10.5.4” 彻 故 的 持续 测试 








Tricentis 公 司 提出 了 一 套 可 行 的 实施 框架 ， 尤 其 是 通过 量化 需求 和 
测试 风险 为 软件 测试 的 数字 化 转型 提供 了 新 的 思路 。 不 过 ， 这 个 框 染 与 
持续 测试 的 理想 状态 还 是 有 一 定 的 差距 ， 未 来 可 以 考虑 从 以 下 几 个 方向 


进行 完善 。 








。 对 需求 的 业务 风险 的 度量 依赖 人 工 评审 获得 ， 得 到 的 结果 比较 主 
观 ， 将 来 可 以 尝试 利用 人 工 智能 、 大 数据 等 拉 术 进行 自动 分 析 ， 实 
现 更 为 彻底 的 数字 化 。 


API 的 自动 化 测试 、 测 试 数据 管理 服务 、 服 务虚 拟 化 技术 ， 以 及 测 
试 平台 与 DevOps 工 具 链 集成 等 手段 并 不 能 消除 目 动 化 测试 的 所 有 
障碍 。 如 何 让 上 自动 化 测试 做 得 更 快 、 更 好 ? 也 许 人 工 智 能 技术 在 将 
来 可 以 给 出 更 好 的 答案 。 


新 功能 探索 式 测试 、 回 归 测 试 目 动 化 ， 能 不 能 把 二 者 融合 起 来 ， 利 
用 人 工 的 探索 式 测 试 智能 地 产生 测试 代码 ， 让 测试 更 具 “ 持 续 性 ”? 
例如 ， 对 于 任何 新 功能 ， 首 先 经 过 测试 人 员 的 探索 式 测 试 同 人 工 智 
能 提供 训练 数据 ， 然 后 人 工 智能 一 边 训 练 一 边 补 全 测试 ， 并 生成 目 
动 化 测试 脚本 。 


本 章 小 结 


我 们 已 经 进入 了 一 个 “大 数据 + 人 工 乔 能 ”的 时 代 ， 这 不 但 意味 着 大 
数据 和 人 工 留 能 技术 越 来 越 广泛 地 应 用 到 软件 测试 中 ， 同 时 意味 着 大 量 
的 大 数据 系统 和 人 工 智能 系统 需要 测试 和 验证 ， 这 将 在 敏捷 测试 面 癌 业 
务 的 实践 中 局 据 越 来 越 大 的 比重 。 








大 数据 系统 的 测试 既 包 括 功 能 测试 ， 又 包括 非 功能 测试 。 其 中 的 功 
能 测试 主要 是 验证 ETL 的 数据 处 理 过 程 ， 这 是 大 数据 测试 的 核心 。 针 对 
大 数据 系统 ， 还 需要 在 体系 结构 方面 进行 性 能 测试 、 稳 定性 测试 、 可 靠 
性 测试 等 非 功能 测试 。 





人 工 智 能 的 测试 侧重 算法 验证 、 学 习 模 型 评估 和 特征 项 专项 测试 
等 。 算 法 和 模型 的 验证 ， 会 通过 实验 评估 算法 目 身 的 度量 指标 ， 如 准确 
率 、 灵 敏 度 和 召回 率 等 进行 验证 ， 也 会 采用 赔 变 测试 、 模 糊 测 试 等 方法 
来 验证 算法 的 可 徘 性 和 可 解释 性 等 。 











。 对 于 人 工 智 能 领域 的 测试 ， 即 使 是 过 去 所 学 的 测试 方法 也 有 用 武之 
地 ， 如 采用 不 同 数据 集 进 行 多 次 验证 ， 验 证 算法 在 不 同 数据 下 的 表 
现 ， 探 宛 算 法 的 边界 ， 验 证 算法 在 边界 会 不 会 出 现 异 常情 况 。 








可 以 采用 日 盒 测 试 方法 ， 基 于 算法 的 结构 进行 验证 ， 如 对 神经 元 及 
其 连接 的 履 盖 ， 也 可 以 采用 黑 盒 方法 ， 针 对 人 工 留 能 输出 的 结果 进 
行 验 证 ， 如 上 面 所 说 的 图 灵 测 试 和 A/B 测 试 。A/B 测 试 已 在 8.2 节 做 


介绍: 


ei 


。 人 工 智 能 测试 可 以 是 手工 测试 ， 直 接 让 测试 人 员 来 进行 验证 ， 如 图 
灵 测 试 或 直接 让 特定 领域 的 专业 人 十 “如 李 世 石 、 柯 洁 与 AlphaGo 
的 对 研 等 ) 来 完成 测试 ， 也 可 以 进行 自动 化 测试 ， 让 它们 上 自我 博 研 
(如 AlphaGo 的 下 一 代 产 品 AlphaZero) 。 


在 人 工 智 能 助力 敏捷 测试 方面 ， 从 基于 图 像 识 别 技术 的 UI 测试 ， 到 
基于 人 工 智 能 实现 全 目 动 化 的 API 测 试 ， 再 到 基于 人 工 智 能 进行 代码 深 
度 分 析 ， 尽 早 发 现代 码 缺 陷 ， 人工 智能 可 以 在 各 个 阶段 帮助 软件 开发 实 
见 内 建 质量 ， 以 更 高 效 的 技术 手段 加 速 对 软件 质量 的 反馈。 





敏捷 测试 的 发 展 离 不 开工 具 的 支持 ， 因 此 我 们 有 必要 关注 测试 工具 
的 发 展 趋势 ， 了 解 它们 在 云 化 、 智 能 化 和 模型 化 方面 的 发 展 ， 以 及 对 大 
数据 、 人 工 智能 和 物 联网 等 新 兴 技 术 的 支持 。 我 们 更 需要 了 解 测试 工具 
对 于 敏捷 和 DevOps 中 持续 测试 的 支持 力度 ， 通 过 实践 让 它们 能 够 早日 
在 实践 中 “成 长 "和 “完善 "， 进 而 成 为 推动 敏捷 和 DevOps 发 展 的 强大 动 
yo 





敏捷 测试 就 是 要 实现 彻底 的 持续 测试 。 持 续 测 试 具有 下 列 3 个 特 
点 。 





。 测试 可 以 随时 开展 且 具 有 连续 性 ， 平 滑 有 序 地 打通 整个 测试 过 程 ， 
从 测试 左 移 到 测试 右 移 ， 从 单元 测试 到 端 到 端的 系统 测试 ， 从 静态 
测试 到 动态 测试 ， 从 测试 分 析 到 测试 报告 。 


。 测试 和 开发 、 运 维 能 很 好 地 进行 融合 、 匹 配 和 同步 ， 打 通 整个 
DevOps 过 程 ， 让 测试 融合 到 DevOps 的 各 个 环节 ， 融 入 DevOps 的 整 


个 基础 设施 ， 相 互 促进 ， 最 终 能 够 实现 彻底 的 持续 交付 。 


。 以 最 少 的 测试 、 最 快 的 速度 履 兰 交付 所 面临 的 业务 风险 ， 整 个 测试 
过 程 要 快 。 无 论 是 研发 阶段 中 的 每 个 达 代 的 测试 活动 ， 还 是 产品 砾 
布 后 对 于 缺陷 修复 的 代码 变更 的 验证 ， 有 变更 就 有 验证 ， 就 能 够 快 


速 提供 验证 结 





彻 原 的 持续 测试 需要 通过 人 工 智 能 技术 辅助 实现 ， 相 信 这 一 天 会 很 
快 到 来 。 


延伸 阅读 


下 面 推荐 两 本 书 ， 和 希望 可 以 帮助 读者 深入 学 习 人 工 智能 和 大 数据 的 
测试 。《AI 自 动 化 测试 : 技术 原理 、 平 台 搭建 与 工程 实践 》 介 绍 了 针对 
测试 上 自动 化 的 相关 人 工 智能 技术 基础 、 腾 讯 游 戏 人 工 留 能 自动 化 测试 框 
架 的 实现 机 制 ， 以 及 不 同 需求 场景 下 的 实际 案例 。《 机 器 学 习 测 斌 入门 
与 实践 》 系 统 地 介绍 了 机 器 学 习 和 大 数据 测试 技术 ， 包 括 大 数据 测试 、 
特征 专项 测试 及 模型 算法 评估 测试 等 方面 ， 也 探讨 了 如 何 建 并 机 器 学 习 
的 质量 保障 体系 。 
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A.1 工作 流程 图 


基于 Kubernetes 和 Docker 搭 建 的 Jankins 持 续集 成 系统 的 工作 流程 网 
如 图 A-1 所 示 。 
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图 A-1 持续 集成 系统 的 工作 流程 图 


A.2 系统 配置 


Harbor 仓 库 服 务 器 ， 配 置 为 : centos7， 4 核 CPU， 16GB 内 存 ， 
160GB 硬 盘 。 


服务 器 IP 服务 器 主机 名 
192.168.10.160 harbor 


Kubernetes 集 群 包含 3 台 服 务 器 ，1 台 主 服务 器 ，2 台 节点 服务 器 ， 配 
置 为 : centos7， 4 核 CPU， 16GB 内 存 ，60GB 人 硬盘 。 


服务 器 IP 服务 器 主机 名 
192.168.10.161 k8s-master 


192.168.10.162 k8s-nodel 


192.168.10.163 k8s-node2 
A.3 安装 Kubernetes 集 群 
A.3.1 安装 前 的 准备 
1. 关闭 firewalld 改 用 iptables 


输入 以 下 命令 ， 关 闭 firewalld。 


systemct1 stop firewalld.service # 停 止 firewall 





systemct1 disable firewalld.service # 禁 止 firewal1 开 机 启动 





2. 安装 NTP 服 务 


安装 命令 如 下 。 


yum install -y ntp wget net-tools 
systemct] start ntpd 
systemct] enable ntpd 


A.3.2 ”安装 配 置 
1. 安装 Kubernetes 主 服 务 器 


使 用 以 下 命令 安装 Kubernetes 和 etcd。 


yum install -y kubernetes etcd 


编辑 /etc/etcd/etcd.conf 使 etcd 监 昕 所 有 的 IP 地 址 。 


cat /etc/etcd/etcd.conf 


找到 下 面 的 一 行 。 





ETCD_LISTEN_CLIENT_URLS="http://6.6.6.6:2379" 


并 修改 为 下 面 的 值 。 


ETCD_ADVERTISE_CLIENT_URLS="http://192.168.16.161:2379" 





编辑 Kubernetes API Server 的 配置 文件 /etc/kubernetes/apiserver。 


找到 下 面 的 内 容 ， 并 且 修 改 为 如 下 的 值 。 


KUBE_API_ ADDRESS="--address=0.0.0.0" 

KUBE_API_PORT="- -port=8688" 

KUBELET_PORT="--kubelet_port=16256" 

KUBE_ETCD SERVERS="--etcd servers=http://192.168.10.161:2379" 

KUBE_SERVICE ADDRESSES="--service-cluster-ip-range=10.254.60.06/16" 
KUBE_ADMISSION CONTROL="--admission control=NamespaceLifecycle,NamespaceEx 
ists,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota" 
KUBE_API_ARGS="" 





启动 etcd、kube-apiserver、 kube-controller-manager 和 kube- 


scheduler 服 务 ， 并 设置 为 开机 上 自 局 动 。 





cat /script/kubenetes service.sh 


for SERVICES in etcd kube-apiserver kube-controller-manager kube-scheduler 
; do 

Systemct1 restart $SERVICES 

Systemct1 enable $SERVICES 


Systemct1 status $SERVICES 
done 
sh /script/kubenetes service.sh 


在 etcd 中 ， 定 义 Flannel 网 络 的 配置 ， 这 些 配 置 会 被 Flannel 服务 下 发 
到 节点 服务 器 。 





etcdct1 mk /centos.com/network/config '{"Network":"172.17.0.0/16"}" 


添加 iptables 规 则 ， 打 开 相 应 的 端口 。 


iptables -I INPUT -p tcp --dport 2379 -j ACCEPT 
iptables -I INPUT -p tcp --dport 16256 -j ACCEPT 


iptables -I INPUT -p tcp --dport 8686 -j ACCEPT 
iptables-save 





2.， 安装 Kubernetes 节点 服务 器 


下 面 这 些 步骤 应 该 在 节点 服务 器 1 和 节点 服务 器 2 上 执行 〈 也 可 以 添 
加 更 多 的 节点 服务 器 ) 。 
使 用 yum 安 装 Kubernetes 和 Flannel。 


yum install -y flannel kubernetes 


为 Flannel 服务 配置 etcd 服 务 器 ， 编 辑 /etc/sysconfig/flanneld 文 件 中 的 
下 列 行 。 


cat /etc/sysconfig/flanneld 


FLANNEL_ETCD="http://192.168.16.161:2379" # 改 为 etcd 服 务 器 的 IP 
FLANNEL ETCD PREFIX="/centos.com/network" 





编辑 /etc/kubernetes/config 中 Kubernetes 的 默认 配置 ， 确 保 
KUBE_MASTER 的 值 是 Kubernetes 主 服务 器 的 了 和 端口 。 


cat /etc/kubernetes/config 


KUBE_MASTER="- -master=http://192.168.16.161:8686 





编辑 /etc/kubernetes/kubelet 如 下 。 


节操 服务 器 1。 


cat /etc/kubernetes/kubelet 


KUBELET_ADDRESS="--address=0.0.0.0" 
KUBELET_PORT="--port=16256"” 

KUBELET _ HOSTNAME="--hostname override=192.168.16.162” 
KUBELET_API_SERVER="--api servers=http://192.168.10.161:80680" 
KUBELET_ARGS="" 





节点 服务 器 2。 


cat /etc/kubernetes/kubelet 


KUBELET_ADDRESS="--address=0.0.0.0" 
KUBELET_PORT="--port=16256"” 

KUBELET_HOSTNAME="- -hostname_override=192.168.16.163” 
KUBELET_API_SERVER="--api_servers=http://192.168.16.161 
KUBELET_ARGS="" 





启动 kube-proxy、kubelet、docker 和 flanneld 服 务 ， 并 设置 为 开机 自 
局 动 。 





cat /script/kubernetes node service.sh 


for SERVICES in kube-proxy kubelet docker flanneld; do 
Systemct1 restart $SERVICES 
Systemct1 enable $SERVICES 


Systemct1 status $SERVICES 
done 


在 每 台 节 点 服务 器 上 ， 产 生 一 块 新 的 网 卡 docker0， 两 台 节 点 服务 
峰 的 Docker 网 卡 有 不 同 的 卫 ， 惑 像 下面 这 样 。 


节点 服务 器 1 执行 如 下 命令 。 


ip a | grep docker | grep inet 


可 以 看 到 如 下 内 容 。 


inet 172.17.6.1/16 scope global docker6 


市 反 服 务 器 2 执行 如 下 命令 。 


ip a | grep docker | grep inet 


可 以 看 到 如 下 内 容 。 


inet 172.17.660.6/16 scope global docker6 


添加 如 下 iptables 规 则 。 


iptables -I INPUT -p tcp --dport 2379 -j ACCEPT 


iptables -I INPUT -p tcp --dport 16256 -j ACCEPT 
iptables -I INPUT -p tcp --dport 8686 -j ACCEPT 





现在 登录 Kubernetes 主 服务 器 验证 节点 服务 器 状态 。 


Kubect1l get nodes 
NAME STATUS AGE 


192.168.16.162 Ready 2h 
192.168.160.163 Ready 2h 





至 此 ，Kubernetes 集 群 已 经 配置 并 运行 了 ， 我 们 可 以 继续 下 面 的 步 


A.4 _ Harbor 的 安装 部 署 


Harbor 是 VMware 公司 开源 的 企业 级 Docker Registry 项 目 ， 项 目 见 
GitHub 官 网 -goharbor-harbor。 


A.4.1 下 载 Harbor 离 线 安装 包 





下 载 Harbor 离 线 安装 包 ， 下 载 界面 如 图 A-2 所 示 。 


LO 


项 wy65701436 released this on 14 Feb . 12 commits to release-1.10.0 since this release 


Resolved Issues 
。 Ful 


ist of issues fixed in v1.10.1 


v Assets 7 


® harbor-offline-installer-v1.10.1.tgz 

国 harbor-offline-installer-v1.10.1.tgz.asc 
国 harbor-online-installer-v1.10.1.tgz 

国 harbor-online-installer-vl 10 1 tgz asc 
国 md5sum 

(D Source code (zip 


1 Source code (tar.gz 


图 A-2 Harbor 离线 安装 包 


相关 的 机 器 配置 要 求 如 图 A-3 所 示 。 


Resource Minimum Recommended 


CPU 2 CPU 4 CPU 
Mem 4GB 8GB 
Disk 40 GB 160 GB 


图 A-3 机 器 配置 要 求 


将 下 载 的 Harbor 离 线 安装 包 上 传 到 服务 器 ， 并 运行 以 下 命令 解 
缩 。 


在 后 面 的 A.4.4 节 ， 使 用 解压 缩 文件 安装 Harbor 仓 库 。 


六 


A.4.2 ”安装 Docker 


Docker 的 安装 步骤 如 下 。 


# 安装 依赖 包 
yum install -y yum-utils device-mapper-persistent-data lvm2 
# 添加 Docker 软 件 包 源 
yum-config-manager \ 
--add-repo \ 


https://download .com/linux/centos/docker-ce.repo 
# 安装 Docker CE 
yum install -y docker-ce 
# 启动 Docker 服 务 并 设置 为 开机 自 启 动 
systemctl1 start docker 
systemctl1 enable docker 














A.4.3 ”安装 Docker Compose 


Docker Compose 是 Docker 提 供 的 一 个 命令 行 工 具 ， 用 来 定义 和 运 
由 多 个 容器 组 成 的 应 用 。 使 用 它 ， 我 们 可 以 通过 YAML 文 件 定义 应 用 ， 
并 由 单个 命令 完成 应 用 的 创建 和 启动 。 下 面 给 出 其 2 种 安装 方法 。 


方法 1 如 下 所 示 。 


# curl -L https://github.com/docker/compose/releases/download/1.24.1/docke 


r-compose-'uname -s'-'uname -m' > /usr/local/bin/docker-compose 
# chmod +x /usr/local/bin/docker-compose 





方法 2 如 下 所 示 。 


install epel-release 
install -y python-pip 


install docker-compose 
install git 





A.4.4 Harbor 的 安装 与 配置 


修改 harbor.yml 如 下 。 
。 hostname: 在 这 里 设置 本 机 的 IP 地 址 。 
。 harbor_admin_password: Web 页 面 的 密码 。 


运行 下 列 代码 。 


sh ./install.sh 


进入 Harbor 访 问 页 面 : http://192.168.10.160/， 如 图 A-4 所 示 。 





Harbor 


admin 


回 记 住 我 忘记 密码 





图 A-4 _ Harbor 访问 页 面 
A.4.5 客户 疹 访 问 Harbor 仓 库 
在 客户 端 登录 Harbor 会 报 如 下 所 示 的 错误 。 


# docker login 192.168.16.166 
Username: admin 


Password: 
Error response from daemon: Get https://192.168.16.166/v2/: dial tcp 
192.168.16.166:443: connect: connection refused 





这 是 因为 从 Docker 1.3.2 版 本 开始 默认 Docker Registry 使 用 的 是 
HTTPS， 而 我 们 设置 Harbor 默 认为 HTTP 方 式 ， 因 此 ， 当 执行 docker 
login、pull、push 等 命令 、 操 作 非 HTTPS 的 Docker Registry 时 ， 就 会 报 
错 oo 


解决 方法 如 下 。 


登录 Harbor 仓 库 服务 器 ,在 Harbor 的 安装 目录 中 ， 执 行 下 列 命令 查看 
docker-compose.yml 文 件 。 


vi docker-compose.yml 


docker-compose.yml 文 件 的 内 容 如 图 A-5 所 示 。 





图 A-5 ”docker-compose.yml 文 件 


修改 ports 信 息 为 5000:5000， 然 后 执行 下 列 命令 。 


docker-compose stop 
./install.sh 


下 面 需 要 修改 harbor 仓 库 服 务 器 和 客户 端 服 务 器 的 Docker 配 置 文 





一 ~ 


人 
首先 ， 执 行 下 列 命令 。 


vim /etc/docker/daemon.json 


在 daemon.json 文 件 中 添加 如 下 内 容 。 


{ 


"insecure-registries": ["192.168.16.166"] 
} 





然后 ， 执 行 下 列 命 令 。 


vim /usr/lib/systemd/system/docker.service 


在 docker.service 文 件 中 添加 如 下 内 容 。 





ExecStart=/usr/bin/dockerd |--insecure-registry=192.168.16.166 





在 该 文件 中 ， 在 下 面 这 行 前 面 加 上 “#” 以 进行 注释 。 


ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/container 
d.sock 








在 该 文件 中 添加 如 下 内 容 。 





ExecStart=/usr/bin/dockerd|--insecure-registry=192.168.16.166 


重启 Docker， 命 令 如 下 。 


Systemct]1 daemon-reload 
systemct] restart docker 


重启 Harbor 的 Docker Compose， 命 令 如 下 。 


docker-compose restart 


在 客户 端 登 录 Harbor 仓 库 ， 这 次 登录 成 功 。 


# docker login 192.168.16.166 
Username: admin 


Password: 
Login Succeeded 





A.5 采用 Jenkins Pipeline 实 现 目 动 构建 并 部 署 至 


Kubernetes 


A.5.1 部署 Jenkins 


这 里 采用 yum 命令 部 署 Jenkins。 
1) 安装 JDK， 命 令 如 下 。 


2) 安装 Jenkins 。 


添加 Jenkins 库 到 yum 库 ，Jenkins 将 从 这 里 下 载 并 安装 ， 命 令 如 下 。 


wget -0 /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat/jen 
kins.repo 


rpm --import https://jenkins-ci.org/redhat/jenkins-ci.org.key 
yum install -y Jenkins 





3) 配置 Jankins 的 端口 。 


首先 执行 下 列 命 令 打 开 /etc/sysconfig/Jenkins。 


vi /etc/sysconfig/jenkins 


然后 修改 端口 号 如 下 。 


JENKINS_PORT="8685" 此 端口 不 冲突 可 以 不 修改 





4) 启动 Jenkins， 命 令 如 下 。 


service jenkins start/stop/restart 


5) 访问 http:/localhost:8085， 出 现 如 图 A-6 所 示 的 页 面 ,日 志文 件 位 


于 /var/jenkins_home/secrets/initial AdminPassword 中 。 





解锁 jenkins 





图 A-6 ”Jenkins 解 锁 界面 


6) 在 如 图 A-6 所 示 的 密码 文件 中 找到 系统 生成 的 密码 ， 复 制 到 “ 管 
理 员 密 码 * 下 的 输入 框 中 ， 然 后 单 击 “ 继 续 ” 按 钮 。 


7) 在 Plugin 界 面 中 选择 “安装 建议 的 插件 ”。 


8) 最 后 ， 创 建新 的 管理 员 用 户 或 使 用 现 有 的 admin 用 户 。 完 成 后 需 
要 使 用 管理 员 用 户 登 录 系 统 ， 这 样 就 可 以 使 用 系统 了 。 





A.5.2 ”新 建 Spring Boot Java 工 程 


首先 准备 一 个 Spring Boot Java 工 程 。 由 于 Spring Boot 内 网 了 
Tomcat， 因 此 不 需要 安装 Tomcat 也 可 以 启动 Web 应 用 。Java 工 程 的 代码 
在 GitHub 官 网 -gemedia/docker-demo。 


1. 新 建 Spring Boot Java 工 程 


1) 创建 Spring Boot Java 项 目 ， 新 建 一 个 Controller 类 。 


package com.docker.demo.controller; 

import org.springframework.web.bind.annotation.GetMapping; 
import org.springframework.web.bind.annotation.RestController; 
@RestController 

public class TestController { 


@GetMapping("") 
public String helloWorld() { 
return "Hello World!"; 


} 





2) 然后 修改 application 配 置 文 件 ， 设 置 访问 端口 。 


spring.application.name=docker-demo 
server .port=9099 


3) 编译 运行 ， 访 问 http://localhost:9099 可 以 看 到 运行 初始 页 面 ， 如 
图 A-7 所 示 。 我 们 把 这 个 Spring Boot 工 程 部 署 到 Kubernetes 集 群 中 ， 就 可 
以 在 集群 的 节点 上 启动 工程 ， 进 行 Web 访 问 。 





Hello World! 


图 A-7 运行 初始 页 





[= 


2. 准备 Dockerfile 文 件 


在 根 目 录 下 新 建 一 个 Dockerfile 文 件 ， 可 以 用 来 构建 需要 的 Docker 
镜像 。 


FROM openjdk:8-jdk-alpine 

# 构 建 参 数 

ARG JAR_FILE 

ARG WORK_PATH="/opt/demo" 

# 环境 变量 

ENV JAVA_OPTS="" \ 
JAR_FILE=${JAR_ FILE} 





RUN apk update && apk add ca-certificates && \ 
apk add tzdata && \ 
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && \ 
echo "Asia/Shanghai" > /etc/timezone 

COPY target/$JAR _ FILE $WORK_PATH/ 

WORKDIR $WORK_PATH 

ENTRYPOINT exec java $JAVA OPTS -jar $JAR FILE 





3. 准备 Kubernetes 的 Deployment 配 置 文件 


在 根 目 录 下 ， 新 建 一 个 名 为 k8s-deployment.tpl 的 文件 ， 可 以 用 作 
Kubernetes 的 YAML 文 件 模板 。 





apiVersion: apps/v1 
kind: Deployment 
metadata: 
name: {APP_NAME}-deployment 
labels: 
app: {APP_NAME} 


spec: 
replicas: 1 
selector: 
matchLabels: 
app: {APP_NAME} 
template: 
metadata: 

labels: 
app: {APP_NAME} 

spec: 

containers: 

- name: {APP_NAME} 
image: {IMAGE URL}:{IMAGE TAG} 
ports: 

- containerPort: 46686 


enyv ， 
- name: SPRING PROFILES ACTIVE 
value: {SPRING PROFILE} 





4. 准备 Jenkinsfile 文 件 


在 根 目录 下 ， 新 建 Jenkinsfile 文 件 ， 用 来 在 Jenkins 中 执行 Pipeline 任 
务 。Jenkinsfile 文 件 的 参数 说 明 如 下 。 


1) environment 中 的 参数 说 明 如 下 。 


HARBOR_CREDS: Harbor 镜 像 仓库 用 户 credential 信 息 。 


K8S_CONFIG: Kubernetes 中 kubectl 命 令 的 YAML 配 置 文件 内 容 。 


GIT_TAG: 当前 Git 的 tag 值 。 


2) parameters 中 的 参数 说 明 如 下 。 


HARBOR HOST: Harbor 仓 库 地 址 。 


。 DOCKER_IMAGE: Docker 镜 像 名 。 

。 APP NAME: Kubernetes 中 的 应 用 名 称 。 

。K8S_NAMESPACE: Kubernetes 中 的 命名 空间 的 名 称 。 
3) stages 中 的 参数 说 明 如 下 。 


。 Maven Build: 设置 .m2 目 录 名 称 ,进行 Maven 构 建 。 








。 Docker Build: 使 用 Shell 命 令 ,依次 进行 这 些 操 作 ， 登 录 Harbor 仓 
库 、 构 建 镜 像 文 件 、 上 传 镜像 文件 和 移 除 本 地 镜像 文件 。 


。 Deploy: 运行 kubectl 命 令 ,执行 deploy 操 作 。 





pipeline { 
agent any 
environment { 
HARBOR_ CREDS = credentials('jenkins-harbor-creds') 
K8S_CONFIG = credentials('jenkins-k8s-config') 
GIT_TAG = sh(returnStdout: true,script: 'git describe --tags --alw 
ays') .trim() 
} 
parameters { 
string(name: 'HARBOR HOST', defaultValue: "192.168.16.166' ，descri 
ption: 
'harbor 仓 库 地 址 ') 
string(name: 'DOCKER IMAGE', defaultValue: 'tssp/pipeline-demo', d 
escription: 'docker 镜 像 名 ') 
string(name: 'APP_ NAME', defaultValue: 'pipeline-demo', descriptio 
n: 'k8s 中 应 用 名 称 ) 
string(name: 'K8S NAMESPACE', defaultValue: 'demo', description: ' 
k8s 的 namespace 名 称 ') 
} 
stages { 
stage('Maven Build') { 
when { expression { env.GIT TAG != null } } 
agent { 




















docker { 
image 'maven:3-jdk-8-alpine' 
args '-v $HOME/ .m2:/root/.m2' 
} 
} 
steps { 
sh 'mvn clean package -Dfile.encoding=UTF-8 -DskipTests=tr 
ue 
stash includes: 'target/*.jar', name: 'app' 
} 


} 
stage('Docker Build') { 


when { 
allOof { 
expression { env.GIT TAG != null } 
} 
} 
agent any 
steps { 
unstash "app 
sh "docker login -u ${HARBOR CREDS USR} -p ${HARBOR_CREDS _ 
PSW} 
${params .HARBOR_HOST}" 
sh "docker build --build-arg JAR FILE=`1s target/*.jar |cu 
t -d '/' -f2. -t ${params .HARBOR HOST}/${params.DOCKER IMAGE}:${GIT_TAG} . 
sh "docker push ${params .HARBOR HOST}/${params .DOCKER_IMAG 
E}:${GIT_TAG}" 
sh "docker rmi ${params .HARBOR HOST}/${params .DOCKER IMAGE 
}:${GIT_TAG}" 


} 
stage('Deploy') { 
when { 
allOof { 
expression { env.GIT TAG != null } 
} 
} 
agent { 
docker { 
image 'lwolf/helm-kubectl-docker' 
} 
} 
steps { 
sh “mkdir -p ~/.kube" 
sh "echo ${K8S CONFIG} | base64 -d > ~/.kube/config" 
sh "sed -e 's#{IMAGE URL}#${params .HARBOR HOST}/${params.D 
OCKER_IMAGE} 


#g;S#{IMAGE TAG}#${GIT TAG}#g;Ss#{APP_ NAME}#${params .APP_NAME]}#g;Ss#{SPRING__ 
PROFILE}#k8s-test#g' k8s-deployment.tpl] > k8s-deployment.yml" 


sh "kubect] apply -f k8s-deployment.yml --namespace=${para 
ms.K8S_ NAMESPACE}" 





A.5.3 配置 Jenkins Pipeline 任 务 


新 建 Jenkins Pipeline 任 务 ， 然 后 设置 所 需 的 参数 。 


1. 创建 Pipeline 任 务 


单 击 “ 新 建 任务 ”按钮 ， 在 新 建 任务 页 面 ， 输 入 任务 名 称 , 选择 “流水 
线 ” 选 项 ， 如 图 A-8 所 示 。 


Enter an item name 


x Freestyle project 
WD Th the corans 


图 A-8 新建 任务 界面 


2. 配置 Pipeline 任 务 


进入 Pipeline 任 务 的 配置 界面 ， 在 Pipeline 设 置 页 面 ， 
在 “Definition” 下 拉 列 表 框 中 选择 “Pipeline script from SCM”， 在 “SCM” 下 
拉 列 表 框 中 选择 *Git”， 输 入 Java 工 程 的 Git 地 址 和 凭证 信息 ， 如 图 A-9 所 
2 


Pipeline 
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区 要 | Apply Add Branch 














图 A-9 ” ”Pipeline 任务 配置 界面 


3. 配置 Harbor 仓 库 账号 与 密码 


在 如 图 A-10 所 示 的 界面 中 ， 单 击 “凭据 "， 然 后 单 击 “ 添 加 凭据? 链 


接 。 


起 roope 条 凭据 
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图 A-10 ”添加 凭据 界 国 











在 新 凭据 设置 界面 ， 将 “Kind” 选 择 为 “Username with password”， 将 
ID 设 置 为 “jenkins- harbor-creds”， 在 “Username” 中 为 Harbor 镜 像 仓 库 设 
置 用 户 名 ， 在 “Password” 中 为 Harbor 仓 库 设 置 用 户 密码 ， 如 图 A-11 所 
示 。 


Jenkins 和 伍 据 > ， 系统 全 局 凭据 (unrestricted) 


t Kind 
会 Back to credential domains nS Usemame with password 


@= Add Credentials Scope 


全 局 (Jenkins, nodes. items, all child items, etc) 


jenkins-harbor-creds 





图 A-11 新 凭据 设置 界面 











4. 配置 Kubernetes 的 kube.config 配 置 文件 


Kubernetes 需 要 YAML 格 式 的 配置 文件 来 执行 kubectl 命 令 。 首 先 把 
Jenkins 和 凭据 内 容 进 行 Base64 解 码 ， 然 后 保存 为 ~/.kube/config 文 件 ， 文 件 
内 容 如 下 。 





apiVersion: v1 
kind: Config 
clusters: 
- name: "test" 
cluster: 
server: "https://xxxxx" 
api-version: v1 
certificate-authority-data: "xxxxxx" 
USsers : 
- name: "user1" 


user: 

token: "xxxx" 
contexts: 
- name: "test" 

context: 

user: "user1" 

cluster: "test" 
current-context: "test" 








在 Linux 环境 下 运行 如 下 命令 ， 可 以 把 kubectl 的 YAML 文 件 进 行 
Base64 编 码 。 


base64 kube-config.yml > kube-config.txt 


在 Jenkins 凭 据 中 添加 文件 内 容 。 单 击 “ 添 加 凭据 *”， 出 现 如 图 A-12 所 
示 的 界面 ， 将 “类 型 ”选择 为 “Secret text”， 将 “ID” 设 置 为 “jenkins-k8s- 
config”,“Secret” 中 为 Base64 编 码 后 的 配置 文件 内 容 。 

















图 A-12 ”凭据 设置 界面 














A.5.4 测试 Pipeline 任 务 


单 击 新 建 的 Pipeline 任 务 , 在 任务 页 面 中 ， 单 击 “Build With 
Parameters”, 执行 Pipeline 任 务 ， 如 图 A-13 所 示 。 


Jenkins k8sTest 


会 Backto Dashboard 
Status 

FP Changes 

佑 Build with Parameters 

© Delete Pipeline 

这 Configure 

A Full Stage View 

DS Rename 

人 @ 流水 纺 法 


® Build History trend 一 


. . 
Pipeline k8sTest 
This build requires parameters: 
HARBOR_HOST ”192.168.10.160 
harbor 仓 库 地 址 
DOCKER IMAGE tssp/docker-demo 
docker 祝 像 名 


APP_NAME docker-demo 


k8s 中 标签 名 
K8S_NAMESPACE demo 


k8s 的 namespace 名 称 


EE 


§ 


图 A-13 ”Pipeline 任 务 执行 界面 


在 如 图 A-14 所 示 的 界面 中 ， 碍 看 任务 的 执行 结果 ， 可 以 看 到 每 个 阶 


段 的 运行 状态 。 
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图 A-14 任务 执行 结果 界面 





任务 完成 以 后 ， 可 以 看 到 Docker 镜 像 文 件 已 经 上 传 至 Harbor 仓 库 中 


了 ， 如 图 A-15 所 示 。 


tssp/docker-demo 





图 A-15 ”查看 Harbor 镜 像 仓 库 界面 











在 Linux 服 务 器 中 查看 deployment， 运 行 以 下 命令 。 


Kkubect1l get deployment 


kubectl get deployment 命 令 的 执行 结果 如 图 A-16 所 示 。 


图 A-16 ”kubectl get deployment 命 令 执行 结果 








查看 pod 的 命令 如 下 。 


kubectl1 get pod 


kubectl get pod 命 令 的 执行 结果 如 图 A-17 所 示 。 


图 A-17 ”kubect] get pod 命 令 执行 结果 


A.5.5 ”过 到 的 问题 及 解决 方法 


(1) 司 动 Jenkins 后 ， 安 装 插件 时 出 现 “ 无 法 连接 服务 器 ”错误 


首先 不 要 关闭 安装 插件 的 那个 页 面 〈 束 是 提示 offline 的 那个 页 
面 ) ， 然 后 打开 一 个 新 的 标签 页 ， 输 入 网 址 
http://localhost:port/pluginManager/advanced， 将 会 出 现 如 图 A-18 所 示 的 
页 面 ， 在 新 打开 的 页 面 的 “Update Site” 中 ， 把 其 中 的 链接 改 成 : 
http://mirror.esuni.jp/jenkins/updates/update-center.json， 然 后 单 
击 “Submit” 按 钮 。 


Upload Plugin 
Update Site 




















图 A-18 Plugin Manager 管 理 界面 





完成 后 重新 启动 Jenkins， 这 时 束 能 正常 安装 插件 了 。 
(2) 运行 Pipeline， 出 现 “command not found” 错 误 


利用 yum 命 令 安装 的 Jenkins 的 配置 文件 的 默认 位 置 
为 /etc/sysconfig/jenkins。 


Jenkins 服 务 默认 以 jenkins 用 户 运 行 ， 这 时 在 Jenkins 中 执行 ant 脚 本 可 
能 会 产生 没有 权限 删除 目录 、 禾 盖 文 件 等 问题 。 我 们 可 以 通过 让 Jenkins 
以 root 用 户 运 行 来 解决 这 个 问题 。 


1) 将 jenkins 账 号 加 到 root 组 中 。 


gpasswd -a jenkins root 


2) 然后 需要 修改 Jenkins 用 户 权 限 为 root 权 限 ， 修 
改 /etc/sysconfig/jenkins 文 件 内 容 如 下 。 


#user id to be invoked as (otherwise will run as root; not wisel!) 


JENKINS_USER=root 
JENKINS GROUP=root 





这 样 修改 后 重启 Jenkins 服 务 。 


(3) 在 docker build 阶 段 出 现 “exec:"docker-proxy": executable file not 
found in $PATH” 错 误 。 


解决 方法 : 需要 启动 docker-proxy。 


cd /usr/libexec/docker/ 
ln -s docker-proxy-current docker-proxy 


(4) 出 现 “Cannot connect to the Docker daemon at 


unix:///var/run/docker.sock. Is the docker daemon running?” 错 误 。 
可 运行 如 下 命令 进行 解决 。 


systemct] daemon-reload 


service docker restart 


(5) 出 现 “shim error: docker-runc not installed on System.” 错 误 。 


经 过 一 番 排 但 ， 发 现 如 下 解决 方案 有 用 。 


cd /usr/libexec/docker/ 
ln -s docker-runc-current docker-runc 


附录 B 敏捷 实践 友 展 史 


《敏捷 实践 编 年 史 》 的 英文 版 本 可 以 在 国际 敏捷 联盟 网 站 中 找到 。 
1968 年 


康 威 定律 Conway’s Law) 被 提出 ， 并 总 结 为 任何 一 个 组 织 的 系统 
《在 这 里 不 仅仅 指 信息 系统 ) 都 不 可 避免 地 被 设计 成 这 个 组 织 自 里 沟通 
结构 的 副本 。 长 期 以 来 ， 康 威 定律 被 认为 是 民俗 知识 ， 而 并 非 有 充分 依 
据 的 科学 成 果 ， 尺 管 最 新 的 研究 为 其 提供 了 一 些 学 术 上 的 支持 。 (直到 
20 志 纪 90 年 代 中 期 ， 软 件 开 发 的 社会 因 系 仍然 被 软 件 工程 学 术 研 究 所 忽 
视 。) 





20 世 纪 70 年 代 





Barry Boehm 提 出 了 Wideband Delphi 佑 算 技 术 ， 这 是 规划 扑克 
(planning poker) 估算 法 的 前 身 。 


1976 年 


1) 在 D. Panzl 发 表 的 一 系列 文章 中 ， 描 述 了 一 些 与 JUnit 特 性 相似 的 
工具 ， 这 证 明 自 动 化 单元 测试 具有 悠久 的 历史 。 


2) Glenford Myers 出 版 了 《软件 可 靠 性 : 原则 与 实践 》 (Software 


Reliability: Principles and Practices) ， 将 开 肥 人 员 了 永远 不 应 访 测 试 目 
己 的 代码 作为 一 条 “公理 ” (此 时 是 开发 者 做 测试 的 “黑暗 ?时 代 ) 。 


1977 年 


出 现 了 为 UNIX 系 统 开发 的 make 工 具 一 一 〈 这 说 明 ) 自动 化 软件 构 
建 的 原则 由 来 已 久 。 


1980 年 


1) 在 Harlan Mills 主 编 的 一 本 书 中 ， 记 载 了 IBM 联 邦 系统 部 门 天 于 
增 量 开发 的 实质 性 讨论 。 其 中 有 一 篇 Dyer 的 文章 《软件 工程 的 原则 》 
(“Principles of Software Engineering”) ， 建 议 每 次 增 量 开发 的 功能 要 尽 
可 能 与 其 他 增 量 开发 的 功能 分 离 ; 然而 ， 这 仍然 是 有 计划 的 、 分 阶段 
的 开发 模式 ， 而 不 是 为 了 应 对 变化 。 





2) 源 自 丰田 生产 模式 中 的 可 视 化 控制 (visual control) 理念 ， 体 现 
了 对 信息 发 射 源 (information radiator) 的 期 待 。 


1983 年 


在 CHI (人 机 交互 领域 的 顶级 会 议 ) 记录 中 记载 :在 施乐 帕克 研究 
中 心 设计 “施乐 之 星 ” 期 间 ， 大 规模 使 用 了 一 系列 人 类 因素 测试 《human 
factor testing) 技术 ， 预 示 着 可 用 性 〈usability) 测试 技术 将 会 出 现 。 
( 注 :“ 施 乐 之 星 ?是 世界 上 第 一 台 图 形 用 户 界 面 的 计算 机 。) 





1984 年 


1) Barry Boehm 在 一 些 项 目 中 使 用 原型 开发 的 方法 《本质 上 是 一 种 
运 代 策略 ) 进行 早期 研究 ， 这 表明 迭代 方法 开始 得 到 认真 关注 ， 其 极 可 
能 是 受到 个 人 计算 机 和 图 形 用 户 界面 兴起 等 因素 的 推动 。 

2) Leo Brodie 在 《Forth 思 想 》 (Thinking Forth) 一 书 中 提出 构造 


Cfactoring) 的 概念 : 将 代码 组 织 成 有 用 的 片段 ， 这 发 生 在 详细 设计 和 
实现 过 程 中 。 这 体现 了 对 重 构 〈refactoring) 实践 的 期 符 。 











3) 尽管 对 于 瀑布 式 开 发 模型 的 批评 很 早 就 有 ， 作 为 蔡 代 方法 的 增 
量 开 发 模型 的 构想 在 此 时 变 得 越 来 越 清 晰 。 一 篇 早期 论文 《软件 工程 中 
基于 知识 的 沟通 流程 》 (“Knowledge-based communication processes in 
software engineering”) 是 一 个 很 好 的 例子 ， 倡 导 增 量 开 发 ， 并 明确 指出 
其 原因 在 于 瀑布 式 开发 模型 缺乏 完整 和 稳定 的 规范 。 














1985 年 


Tim Gilb 提 出 了 渐进 交付 模型 (evolutionary delivery model) ， 代 号 
为 “Evo”"。 这 也 许 是 第 一 个 明确 命名 的 、 用 来 符 代 深 布 式 开 发 模型 的 增 
量 开 发 模型 。 





1986 年 


1) 在 一 篇 著名 的 论文 中 ，Barry Boehm 提 出 了 软件 开发 和 增强 的 螺 


讶 模型 (a spiral model of software development and enhancement) ， 一 种 


通过 适当 的 方法 识别 和 降低 风险 的 欠 代 模型 “尽管 所 提出 的 “典型 ”示例 
是 基于 原型 开发 方法 ) 。 





2) Takeuchi 和 Nonaka 在 《哈佛 商业 评论 》 上 联合 发 表 了 一 篇 文章 
《一 种 办 新 的 新 产品 开发 游戏 》 (“The New New Product Development 
Game”) ， 提 出 了 一 种 “ 橄 杭 球 ”方法 : 产品 开发 是 在 一 个 精心 挑选 的 、 
多 学 科 的 团队 持续 互动 过 程 中 产生 的 ， 团 队 成 员 从 头 到 尾 都 在 一 起 工 
作 。 这 篇 文章 经 党 被 认为 是 Scrum 框 架 的 灵感 来 源 。 


1988 一 1990 人 年 


事件 驱动 的 GUI 软件 的 兴起 及 其 特定 的 测试 方面 的 挑战 为 "捕获 与 
回放 ”类 测试 自动 化 工具 创造 了 机 会 。 这 类 工具 由 Segue、Mercury 等 公 
司 开 发 ， 并 在 此 后 10 年 间 占 据 了 市 场 主导 地 位 。 











1988 年 


1)“ 时 间 盒 ”(timebox) 被 认为 是 Scott Schultz 提 出 的 快速 迭代 式 产 
品 原 型 开发 〈rapid iterative production prototyping，RIPP) 方法 的 基 
石 ， 该 方法 在 杜邦 公司 的 分 文 机 构 信 息 工 程 协 会 中 被 应 用 。 








2) 虽然 通过 将 对 象 拟 人 化 〈 如 CRC 技 术 ) 来 推理 设计 问题 的 思想 
看 起 来 很 自然 ， 但 仍然 遇 到 一 批 强大 的 反对 者 。 例 如 ，Dijsktra 在 《在 
计算 机 科学 实际 教学 中 的 残酷 性 》 (“On the cruelty of really teaching 
computing science”) 一 文中 指出 : 在 计算 机 科学 中 ， 拟 人 化 的 隐喻 应 该 





被 蔡 止 。 这 看 起 来 似乎 是 面向 对 象 的 理念 正在 同 主流 思想 友 起 冲击 。 
1989 年 


Ward Cunningham 在 与 Kent Beck 联 合 发 表 的 文章 中 描述 了 CRC 技 
术 ， 在 卡片 上 采用 这 种 特定 格式 ， 源 于 Cunningham 设 计 的 一 个 应 用 : 将 
设计 文档 存储 为 一 个 HyperCard 卡 卢 堆 。 


1990 年 


1) Bill Opdyke 和 Ralph Johnson 在 ACM SIGPLAN NOTICE 期 刊 上 联 
合 发 表 了 一 篇 论文 ， 创 造 了 重 构 〈refactoring) 这 一 术语 ， 认 为 重 构 是 
支持 应 用 程序 框架 设计 和 面向 对 象 系统 进化 的 一 种 辅助 手段 。 








2) 黑 盒 (black box) 测试 技术 在 测试 学 科 中 占据 了 主导 地 位 ， 尤 
其 是 “捕获 与 回放 ”类 型 的 测试 工具 。 


20 世 纪 90 年 代 


由 于 快速 应 用 开发 RAD) 工具 和 集成 开发 环境 〈IDE) 的 兴起 ， 
人 们 对 make 类 型 的 构建 工具 毁誉 参半 。 


1991 年 


1) James Martin 在 《快速 应 用 开发 》 (Rapid Software 
Development) 一 书 中 前 述 了 RAD 方 法 ， 这 也 许 是 首次 将 时 间 盒 与 迭代 


《松散 意义 上 的 “整个 软件 开发 过 程 的 一 次 重复 ") 紧密 结合 起 来 。 这 本 
书 的 其 中 一 章 详细 阐述 了 时 间 盒 。 


2) Taligent 公 司 独立 开发 了 一 个 测试 框架 ， 与 SUnit 惊 人 相似 。 
1992 年 


1) Larry Constantine 在 访问 并 报道 Whitesmiths 公 司 时 创造 了 活力 二 
人 组 〈dynamic duo) 这 一 术语 : “每 一 台 终 端 前 面 都 有 两 名 程序 员 ! 当 
然 ， 只 有 一 名 程序 员 操 作 键 盘 编 写 代码 ， 但 他 们 是 并 屑 作战 的 ”。 
Whitesmiths 公 司 是 一 家 由 P.J. Plauger 〈C 语 言 的 开发 者 之 一 ) 创办 的 编 


译名 提供 商 。 





2) William Opdyke 发 表 了 论文 《面向 对 象 框 架 之 重 构 》 
(“Refactoring Object-Oriented Frameworks”) ， 对 重 构 进 行 了 全 面 的 论 


述 。 


1993 年 





1) Wilson 等 人 进行 了 协作 对 学 生 程 序 员 的 好 处 这 一 早期 的 实证 研 
完 ， 结 末 表 明 结对 工作 对 编程 任务 很 有 好 处 。 在 结对 编程 已 经 通过 极限 
编程 (extreme programming) 得 到 普及 之 后 ， 后 续 又 做 了 更 充分 的 研 
究 ， 和 希望 进一步 验证 结对 编程 的 效果 。 





2) Jim Coplien 编 写 了 最 初 的 站 会 (standup) 模式 。 


3) 持续 集成 (continuous integration) 这 个 短语 已 经 开始 使 用 ， 并 
且 早 于 敏捷 过 程 的 概念 。 例 如 ， 这 一 年 有 一 篇 文章 把 持续 集成 和 计划 集 
成 做 了 对 比 ， 并 建议 采用 后 者 ， 理 由 是 持续 集成 缺乏 全 面 测 试 。 这 可 以 
帮助 解释 为 何 敏捷 团队 如 此 青睐 自动 化 测试 ， 因 为 它 能 够 促进 持续 集 
成 。 


4) Jeff Sutherland 在 Easel 公 司 发 明了 Scrum 框 架 。 


1994 年 


1) Jim Coplien 发 表 文章 描述 了 他 对 Borland 公 司 “ 超 级 多 产 ” 的 
Quattro Pro 团 队 的 观察 ， 指 出 他 们 非常 依赖 每 日 会 议 (daily 
meeting) : 项 目 会 议 比 其 他 任何 事情 都 要 多 ; 这 篇 文章 被 认为 对 Scrum 
框架 有 巨 大 的 影响 。 


2) Kent Beck 为 Smalltalk 编 程 语言 开发 了 SUnit 测 试 框 架 。 


1995 年 


1) | 《组 织 模式 》 (Organizational Patterns) 的 早期 
版 本 ， 这 是 一 部 对 敏捷 的 发 展 有 影响 的 著作 ， 在 “程序 设计 模式 语言 ”中 
命名 了 代码 所 有 权 (code ownership) 模式 。 然 而 ，Coplien 支 持 专属 的 
个 人 代码 所 有 权 ， 并 提醒 人 们 不 要 采用 集体 代码 所 有 权 ， 因 为 这 相当 于 
不 存在 所 有 权 。Coplien 承 认 个 人 代码 所 有 权 并 不 完美 ， 但 同时 认为 ， 他 
提出 的 其 他 模式 有 助 于 绥 解 存在 的 问题 。 


2) Alistair Cockbum 发 表 了 文章 《应 用 开发 中 人 的 因素 的 增长 》 
(“Growth of Human Factors in Application Development”) ， 提 出 了 和 迭代 
方法 逐渐 被 接受 的 一 个 主要 原因 : 软件 开发 的 瓶 贷 正在 转向 (个 人 和 
组 织 的 ) 学习 ， 而 学 习 本 质 上 是 一 个 从 代 的 、 反 复试 错 的 过 程 。 


3) 源 于 和 CRC 卡 片 相同 的 灵感 ，Ward Cunningham 提 出 了 Wiki 的 
概念 ， WH 这 无 疑 是 万 维 网 历史 上 最 具 影 响 





4) 在 最 早 的 关于 Scrum 的 著作 中 ， 引 入 了 友人 代 《sprint) 概念 ， 尽 
管 其 持续 时 间 是 可 变 的 。 





) 首部 有 关 模 式 的 著作 《程序 设计 模式 语言 》 (Pattern Languages 
of Program Design) 出 版 ，Jim Coplien 在 “生成 式 开 发 过 程 模式 语言 ”(A 
Generative Development-Process Pattern Language) 这 一 章 中 以 
Alexandrian 模 式 的 形式 对 结对 开发 (developing in pairs) 进行 了 简要 描 














6) 在 1995 年 3 月 一 4 月 发 行 的 《面向 对 象 程序 学 报 》 (Journal 
Object Oriented Program) 中 ，Andrew Koenig 创 造 了 反 模 式 
Cantipattern〉 这 一 术语 : 反 模 式 很 像 是 一 种 模式 ， 但 它 并 非 一 个 真正 
的 解决 方案 ， 它 只 是 表面 上 提供 了 解决 方案 ， 但 实际 上 根本 不 能 解决 问 


匮 。 











7) Ken Schwaber 和 Jeff Sutherland 在 OOPSLA 大 会 上 联合 发 布 了 
Scrum 开 发 框架 。 


1996 年 


1) Steve McConnel 描 述 了 20 世 纪 90 年 代 微 软 在 Windows NT 3.0 上 使 
用 的 每 日 构建 和 冒 烟 测试 daily build and smoke testing) 技术 ， 其 重点 
不 在 于 其 自动 化 程度 ， 而 在 于 构建 频率 ， 以 每 日 为 周期 在 当时 被 认为 很 
极端 。 





2) 目 动 化 测试 成 为 极限 编程 的 一 项 实践 ， 当 时 没有 过 多 强调 单元 
测试 和 验收 测试 的 区 别 ， 也 没有 特别 的 符号 或 推荐 的 工具 。 


1997 年 


1) Ken Schwaber 描 述 了 每 日 Scrum 站 会 (daily scrum standup)， 
这 个 活动 后 来 被 Mike Beedle 打 造成 一 种 模式 。 


2) 在 《和 圣 存 的 面 问 对象 的 项 目 》 (Surviving Object-Oriented 
Projects) 一 书 中 ，Alistair Cockburn 描 述 了 在 几 个 项 目 ( 可 以 追溯 到 
1993 年 中 非 正式 使 用 的 一 项 实践 ， 但 没有 给 它 贴 上 一 个 标签 ， 只 是 将 

其 概述 为 增 量 开发 ， 关 注 每 一 次 增 量 。 





3) Beck 和 Gamma 合 作 开 发 了 测试 工具 JUnit， 灵 感 来 自 Beck 早 期 开 
发 的 工具 SUnit。JUnit 在 后 来 几 年 日 益 流 行 ， 这 标志 着 测试 工具 “捕获 与 
回放 ”时代 的 落幕 。 


1998 一 2002 年 


测试 在 前 〈test-first) 被 前 述 为 测试 驱动 (test-driven) ， 特 别 是 在 
c2.com 的 Wiki 上 。 


1998 年 


1) 持续 集成 〈continuous integration) 和 每 日 站 会 〈daily standup ) 
被 列 入 极限 编程 的 核心 实践 中 。 


2) Linda Rising 在 《模式 手册 : 技术 、 策 略 和 应 用 》 (The Patterns 
Handbook: Techniques, Strategies, and Applications) 一 书 中 引用 了 Keonig 
对 反 模 式 的 定义 。 





3) 《 反 模 式 : 危机 中 软件 、 架 构 和 项 目的 重 构 》 (AntiPatterns: 
Refactoring Software, Architectures, and Projects in Crisis) 一 书 让 反 模 式 
这 个 术语 得 到 普及 。 


4) 关于 极限 编程 的 第 一 篇 文章 《 走 同 极限 编程 的 克莱斯勒 公司 》 
(“Chrysler Goes to ‘Extremes’”) 发 表 ， 摘 述 了 一 些 极限 编程 实践 ， 包 
括 目 选任 务 (self-chosen task) 、 测 试 在 前 〈test-first) 、3 周 迭代 
(three week iteration) 、 集 体 代 码 所 有 权 (collective code ownership ) 
和 结对 编程 (pair programming) 。 


1999 年 





1) 在 关于 极限 编程 的 早期 论述 中 ， 系 统 隐 喻 (system metaphor) 
实践 被 提出 ， 用 来 解决 从 业务 到 技术 转化 过 程 中 存在 的 问题 和 认 知 摩 


探 ， 但 由 于 其 比较 难以 理解 ， 因 此 没有 得 到 推广 。 


2) Robert C. Martin 在 《C++ 报道 》 (C++ Report) 上 发 表 了 一 篇 文 
章 ， 提 出 了 敏捷 运 代 (iterative) 和 增 量 (incremental〉 这 两 个 术语 ， 也 
许 是 最 早 的 敏捷 意义 上 的 描述 。 


3) Alan Cooper 在 《交互 设计 之 路 : 让 高 科技 产品 回归 人 性 》 一 书 
中 首次 提出 用 户 画 像 (personas) 的 概念 ， 是 在 先前 的 目标 导 问 设计 
(goal-directed design) 的 基础 上 发 展 出 来 的 。 


4) Kent Beck 在 IEEE《 计 算 机 》 杂 志 上 发 表 了 《用 极限 编程 拥抱 变 
化 》 〈“Embracing Change with Extreme Programming”) ， 首 次 提出 了 向 
单 设计 规则 (rule of simple design) ， 是 对 OTUG 邮 件 列表 中 的 讨论 进 
行 的 总 结 。 


5) Martin Fowler 出 版 了 《 重 构 : 改善 既 有 代码 的 设计 》。 重 构 实 
践 在 几 年 前 被 纳入 极限 编程 ， 并 因为 这 本 书 得 以 推广 。 


6) Ken Beck 在 《解析 极限 编程 :拥抱 变化 》 一 书 中 创造 了 大 可 视 
化 图 表 (big visible chart) 这 一 术语 ， 尽 管 后 来 Beck 将 这 归功 于 Martin 


Fowler。 


7) Ron Jeffries 率 先 提出 了 标 皮 六 和 朋 〈gummi bears) 这 个 概念 ， 代 
蔡 故 事 点 (story point) 作为 用 户 故 事 的 估算 单位 《后 来 被 认定 源 于 
Joseph Pelrine 领 导 的 一 个 极限 编程 项 目 ) 。 


2000 年 左右 





Scrum 每 日 站 会 中 的 3 个 问题 在 极限 编程 团队 中 被 广泛 使 用 。 
2000 年 (或 更 早 ) 


引入 了 各 驶 员 (driver) 和 领 质 员 Cnavigator) 这 两 个 角色 来 帮助 
解释 结对 编程 ， 相 关 信 息 最 早 来 源 于 一 个 邮件 列表 记录 。 然 而 ， 值 得 注 
意 的 是 ， 这 两 个 角色 存在 争议 ， 如 Sallyann Bryant 发 表 的 文章 《结对 编 
程 与 神秘 的 领航 员 和 角色 》 (“Pair Programming and the Mysterious Role of 





the Navigator”) 。 


2000 年 





1) Martin Fowler 及 表 了 一 篇 文章 ， 提 供 了 也 许 是 当时 对 持续 集成 
实践 的 最 完整 的 描述 。 


2) Freeman、Mckinnon 和 Craig 共 同 发 表 了 文章 《内 部 测试 : 使 用 
模拟 对 象 进行 单元 测试 》 (“Endo-Testing: Unit Testing with Mock 
Objects”) ， 这 里 借用 了 童话 作家 Lewis Carroll 创 作 的 模拟 海 包 (mock 
turtle) 的 典故 。 


3) Ken Schwaber 在 为 富 达 投 资 集团 工作 期 间 发 明了 上 惧 尽 图 
Cburndown chart) ， 试 图 为 Scrum 团 队 提供 一 个 简单 的 工具 包 。 他 在 其 
网 站 上 为 这 个 图 表 做 了 正式 说 明 。 





4) 术语 速度 〈velocity) 被 补充 到 极限 编程 中 ， 它 相对 较 晚 出 现 ， 
蔡 代 了 先前 被 认为 过 于 复杂 的 负载 系数 〈load factor) 这 一 概念 。 


21 世 纪 初 





make 形 式 的 目 动 构建 方式 开始 “复兴 ”， 尽 管 这 根本 不 是 一 种 新 的 
方法 ， 也 不 局 限于 只 在 敏捷 团队 中 使 用 ， 但 它 的 “复兴 ?在 一 定 程 度 上 要 
归功 于 敏捷 实践 的 兴起 











2001 年 2 月 11 日 一 13 日 





在 美国 犹他 州 瓦 陵 奇 山 区 的 雪 乌 滑雪 度假 村 ，17 位 致力 于 帮助 他 人 
的 软件 开发 者 相聚 一 党， 目标 是 从 各 自 的 软件 开发 方法 中 找到 共识 。 
次 会 议 的 成 果 是 《敏捷 软件 开发 宣言 》 (Manifesto for Agile Software 
Development) ， 简 称 《 敏 捷 宣言 》。 后 来 参与 此 次 会 议 的 几 位 成 员 继 
续 合 作 ， 成 立 了 敏捷 联盟 (Agile Alliance) 。 





2001 年 





1) Brian Marick 是 “< 上下文 驱动 ”(context-driven)〉 软件 测试 学 派 的 
一 员 ， 他 参与 了 发 布 《 敏 捷 宣 言 》 的 雪 乌 聚会 。 他 经 常 把 自己 描述 为 团 
以 中 的 令 脾 测试 者 (token tester) ， 并 把 一 些 探索 式 测 试 的 实践 意识 引 
入 敏捷 社区 。 








2) 定期 反思 (retrospective) 是 《敏捷 宣言 》 的 原则 之 一 :团队 定 
期 反思 如 何 做 到 更 有 效 ， 然 后 相应 地 调整 团队 行为 。 尽 管 它 当 时 还 没有 
被 普遍 采用 。 





3) Mary Poppendieck 的 文章 《精益 编程 》 (“Lean Programming”) 


引导 人 们 开始 关注 敏捷 与 精益 思想 (或 丰田 生产 模式 ) 在 体系 上 的 相 
似 之 处 。 


4) Cruise Control 是 第 一 球 持 绿 集 成 服务 器 (continuous integration 
server) ， 以 开源 许可 协议 的 形式 发 布 ， 它 可 以 自动 监控 源 代码 库 ， 目 
动 触发 构建 和 测试 过 程 ， 把 执行 结果 自动 发 送 给 程序 员 ， 并 自动 归档 测 
试 报告 ;在 2001 一 2007 年 期 间 ， 出 现 了 大 量 类 似 工具 ， 可 能 导致 人 们 关 
注 工具 超过 关注 实践 。 


5) Norm Kerth 出 版 了 《项 目 反 思 : 团队 审查 手册 》 (Project 
Retrospectives: A Handbook for Team Reviews) 一 书 ， 描 述 了 一 些 可 视 
化 的 方法 。 其 中 ， 活 力 震 沪 仪 (energy seismograph) 也 许可 以 看 作 
Niko-niko 日 历 的 前 身 。〈 注 : Niko-niko 日 历 是 一 块 看 板 ， 团 队 成 员 在 
每 天 工作 结束 后 用 一 张 脸 部 表情 符 总 结 当 天 的 工作 状态 。) 














6) Bill Wake 发 表 的 一 篇 文章 指出 了 敏捷 团队 中 使 用 的 两 种 不 同 的 
估算 方法 : 相对 估算 和 绝对 估算 (relative and absolute estimation ) 。 


7) Martin Fowler 在 一 篇 文章 中 表示 : 重 构 终于 跨越 了 “分 水 岭 ”。 
他 摘 述 了 在 IDE 工 具 中 对 Java 语 言 重 构 提 供 上 自动 化 辅助 的 广泛 可 用 性 。 








8) Kaner、Bach 和 Pettichord 出 版 了 《软件 测试 经 验 与 教训 》 ， 其 
中 介绍 了 探索 式 测试 技术 的 一 些 技 巧 ， 并 首次 提 到 了 上 下 文 驱动 的 软件 


测试 学 派 (context-driven school of software testing) 。 








9) 《极限 编程 实施 》 一 书 中 摘 述 了 快速 设计 会 话 (quick design 


session ) 这 一 实践 。 


10) 英国 的 Connextra 公 司 发 明了 角色 -特性 -原因 (role-feature- 
reason) 格式 用 来 描述 用 户 故 事 。 


11) Jeff Sutherland 发 表 了 文章 《规模 化 敏捷 : 在 5 家 公司 发 明 并 重 
塑 Scrum》 (“Agile Can Scale: Inventing and Reinventing Scrum in Five 


Companies”) ， 首 次 描述 了 Scrum of Scrums 〈 总 结 IDX 公 司 的 经 验 ) 。 


12) Chrlstopher T.Collins 和 Roy W.Miller 发 表 了 一 篇 论文 《适应 极 
限 编程 风格 》 (“Adaptation: XP Style”) ， 从 中 可 以 看 出 ， 极 限 编程 社 
区 在 早期 就 支持 反思 (retrospective ) 实践 。 


13) Ron Jeffries 提 出 了 用 户 故 事 的 3C 模 型 ， 即 卡片 -交谈 -确认 
(card、conversation 和 confirmation) ， 用 来 区 分 互动 式 (social)〉 的 用 
户 故 事实 践 和 文档 化 〈documentary) 的 需求 实践 。 


14) 《预防 可 预见 的 项 目 失败 》 (“Immunizing Against Predictable 
Project Failure”) 一 文 被 发 表 。 后 来 ， 该 文章 在 很 大 程度 上 促使 了 制定 
项 目 章程 (project chartering) 成 为 一 项 敏捷 实践 。 





15) Alistair Cockburm 出 版 了 《敏捷 软件 开 发 》 一 书 ， 首 次 描述 了 敏 
捷 项 目 环境 中 的 反思 讨论 会 (reflection workshop ) 。 


16) 术语 项 目 反 思 (project retrospective) 在 Norm Kerth 的 著作 中 被 


外 多; 


17) Alistair Cockburn 创 造 了 信息 用 射 源 (Cinformation radiator) 这 
一 术语 ， 将 信息 的 移动 比 作 热量 和 和 气体 的 扩散 ， 部 分 使 用 了 扩展 比喻 。 


2002 年 


1) Laurie Williams 和 Robert Kessler 出 版 了 《结对 编程 技术 》， 这 是 
第 一 本 专门 论述 结对 编程 实践 的 书 ， 讨 论 了 截止 到 当时 的 相关 理论 、 实 
践 和 各 项 研究 。 


2) Ward Cuningham， 极 限 编程 的 发 明 者 之 一 ， 发 布 了 基于 Excel 表 
格 形式 的 验收 测试 工具 Fit。 


3) Bill Wake 的 一 篇 早期 文章 提醒 人 们 注意 一 个 现象 : 对 于 一 些 秆 
用 术语 ， 比 如 完成 《done) ， 也 许 团队 成 员 的 理解 并 不 一 致 。 


4) 来 自 一 个 早期 实践 者 的 报告 在 更 广泛 的 背景 下 讨论 了 用 户 画 像 
(personas ) : Jeff Patton 发 表 了 一 篇 文章 《 击 中 目标 : 将 交互 设计 添加 
到 敏捷 软件 开发 》〈“Hitting the Target: Adding Interaction Design to 
Agile Software Development”) ， 这 也 许 是 首次 对 用 户 画 像 在 敏捷 环境 中 
进行 了 正式 描述 ， 尽 管 至 少 从 2000 年 开始 ， 这 个 主题 就 已 经 通过 邮件 被 
非 正 起 地 讨 伦 过 。 











5) 在 早期 (未 发 表 ) 关于 精益 思想 应 用 于 软件 开发 的 讨论 中 ， 将 
未 部 署 的 功能 特性 视 为 库存 〈inventory) ， 尽 管 Kent Beck 提 到 了 在 
LifeWware 及 其 他 几 家 公司 的 持续 部 署 实 践 ， 但 这 个 想法 需要 几 年 时 间 进 
行 提炼 直到 最 终 成 型 。 





6) Scrum 社 区 采纳 了 用 速度 〈velocity) 进行 估算 的 实践 。 


7) 殿 尽 图 (burndown) 在 Scrum 社 区 广 受 欢迎 ， 另 外 还 有 一 些 蔡 
代 方 法 ， 比 如 仅仅 反 转 了 纵 坐 标的 燃 起 图 (burnup) ， 或 者 更 复杂 的 累 
积 流 图 (cumulative flow diagram) ， 它 和 燃 起 图 非常 相似 ， 但 似乎 是 一 
个 独立 的 发 明 。 


8) James Grenning 在 一 篇 文章 中 阐述 的 规划 扑克 就 是 目前 我 们 使 用 
的 形式 。 


9) Rebecca Wirfs-Brock 和 Alan McKean 通 过 一 本 关于 责任 驱动 设计 
(responsibility-driven design〉 的 书 《 对 es : 角色 、 责 任 和 协作 》 让 
CRC 卡 片 得 以 普及 。 


2003 年 


1) Industrial Logic 公 司 的 Joshua Kerievsky 发 表 《 产 业 化 极限 编程 》 
(“Industrial XP”) 一 文 ， 提 倡 对 极限 编程 进行 一 系列 扩展 ， 包 括 制定 
项 目 章程 。 基 本 上 和 他 在 2001 年 的 文章 中 定义 的 一 致 。 


2) Chris Stevenson 发 布 了 工具 AgileDox， 这 是 BDD 的 原型 ， 能 够 从 
JUnit 测 斌 脚本 中 目 动 生成 技术 文档 。 





3) Bob Martin 将 Fit 和 Wiki (Cunningham 的 男 一 项 发 明 ) 结合 起 来 
开发 出 测试 工具 FitNesse。 


4) c2.Com 的 Wiki 上 的 一 篇 匿名 文章 描述 了 比较 流行 的 Ping-Pong 





须 程 ， 把 结对 编程 和 测试 驱动 开发 这 两 项 实践 结合 在 一 起 。 





5) Scrum 的 早期 培训 资料 中 暗示 了 “完成 定义 ”(definition of 
done，DoD) 在 未 来 的 重要 性 ， 最 初 只 是 一 张 PPT 的 标题 : 完成 的 故事 
(The Story of Done) 。 








6) Mary 和 Tom Poppendieck 在 《精益 软件 开发 管理 之 道 》 一 书 中 将 
敏捷 任务 板 (agile task board) 描述 成 软件 看 板 系 统 〈software kanban 


System ) 。 
7) Ken Beck 出 版 了 《测试 驱动 开发 :实战 与 模式 解析 》 一 书 。 


8) 得 益 于 “XP Day” 大 会 的 例 行 会 议 ， 越 来 越 多 的 团队 开始 在 项 目 
和 从 代 中 开展 反思 (retrospective〉 实 践 。 


9) 用 于 快速 评估 用 户 故事 的 INVEST 清 单 源 于 Bill Wake 的 一 篇 文 
章 ， 而 且 改 写 了 SMART (specific、measurable、achievable、relevant 和 
time-boxed) ， 用 于 评估 用 户 故 事 进行 技术 分 解 后 产生 的 任务 。 


10) Mike Cohn 在 其 网 站 上 描述 了 5 列 任务 板 的 格式 。 正 如 Bill Wake 
收集 的 图 片 库 所 展示 的 那样 ， 当 时 各 种 各 样 的 版 本 仍然 比比 皆 是 。 


11) Kerievsky 创 造 了 模糊 的 时 间 单 位 Cnebulous units of time， 
NUTs) 这 一 术语 ， 用 来 着 代 故 事 点 〈story point) 。 


12) Eric Evans 在 其 著作 《领域 驱动 设计 : 软件 核心 复杂 性 应 对 之 
道 》 中 创造 了 领域 驱动 设计 (domain-driven design) 这 一 术语 ， 最 终 成 


为 系统 隐喻 〈system metaphor) 的 一 个 可 行 的 蔡 代 方案 。 


2003 一 2006 年 


Fit/FitNesse 组 合 让 其 他 工具 器 然 失 色 ， 成 为 敏捷 验收 测试 的 主流 模 
二 


2004 一 2006 年 


每 日 会 议 (daily meeting ) 作为 一 个 核心 敏捷 实践 得 到 推广 。 随 着 
任务 板 的 广泛 使 用 ， 在 任务 板 前 面 台 开 每 日 会 议 〈 来 自 Tobias Mayer 的 
描述 ) 成 为 一 个 关键 的 指导 原则 (例如 Tobias Mayer 的 描述 


2004 年 


1) Kent Beck 提 议 将 整个 团队 (whole team) 作为 一 个 新 名 词 来 命 
名 以 前 被 称 为 现场 客户 〈on site customer) 的 实践 。 


2) Alberto Savoia 在 文章 中 提出 用 极端 反馈 装置 (extreme feedback 
device) ， 如 熔岩 灯 或 专用 显示 器 ， 来 显示 最 新 集成 的 结果 ， 这 是 持续 
集成 实践 中 一 个 重大 创新 。 





3) 为 了 验证 其 “弱化 测试 (test) 而 强调 行为 (behavior) ”的 假 
设 ，Dan North 发 布 了 JBehave。 


4) 缩 略 语 INVEST 是 Mike Cohn 在 《用 户 故 事 与 敏捷 方法 》 一 书 中 


推荐 的 技术 之 一 ， 在 该 书 的 第 2 章 中 进行 了 详细 讨论 。 
2005 夺 


1) 规划 扑克 技术 在 Scrum 社 区 中 得 到 普及 ， 这 是 Mike Cohn 在 《 敏 
捷 估计 与 规划 》 一 书 中 提 到 的 天 于 计划 的 多 种 技术 之 一 。 


2) 待 办 事项 列表 梳理 (backlog grooming) 术语 的 最 早 使 用 记录 来 
自 Mike Cohn 在 Scrum 开 发 邮件 列表 中 的 观点 ， 但 更 正式 的 描述 在 几 年 之 
后 才 出 现 。 


3) 请 学 员 们 思考 所 在 团队 的 完成 定义 (DoD) 的 练习 第 一 次 出 现 
在 Scrum 搭 训 材 料 “ 后 续 妈 代 ”部 分 。 


4) Jeff Patton 在 《关键 在 于 如 何 切 分 》 (“It*s All in How You Slice 
It”) 一 文中 国 述 了 故事 地 图 〈story mapping) 的 概念 ， 但 当时 并 没有 给 


它 命名 。 
2006 一 2009 年 


几 个 新 工具 的 发 布 证 实 了 社区 对 BDD 的 投入 ， 如 RSpec， 以 及 后 来 
的 Cucumber 和 GivWenZen。 


2006 年 


1) Jean Tabaka 在 《协作 精 解 : 软件 项 目 领导 的 建 导 技 巧 》 


(Collaboration Explained: Facilitation Skills for Software Project 
Leaders) 一 书 中 把 项 目 章程 作为 团队 高 效 协 作 的 关键 实践 ， 尽 管 她 明 
确 引 用 了 产业 化 极限 编程 ， 但 她 的 陈述 在 几 个 方面 与 2001 年 的 相关 文章 
有 所 不 同 ， 表 明 其 受到 了 多 方面 的 综合 影响 。 


2) 为 了 将 BDD 的 范围 扩展 到 业务 分 析 ，Dan North 和 Chris Matts 合 
作 提 出 了 Given-When-Then 格 式 ， 并 写 进 《介绍 BDD》 (“Introducing 
BDD”) 一 文中 。 





3) Akinori Sakata 在 一 篇 文章 中 首次 描述 了 Niko-niko 日 历 。 


4) Jez Humble、Crhis Read 和 Dan North 在 Agile 2006 会 议 记 录 中 联 
合 发 表 了 《生产 线 部 署 》 (“The Deployment Production Line”) 一 文 ， 
第 一 次 描述 了 持续 交付 核心 实践 ， 是 对 ThoughWorks 公 司 碳 国 几 个 团队 
的 实践 进行 的 整理 。 





5) Esther Derby 和 Diana Larsen 出 版 了 《敏捷 反思 : 打造 优秀 团队 》 
(Agile Retrospectives:Making Good Teams Great) 一 书 ,完成 了 对 心跳 反 


思 (heartbeat retrospective ) 实践 的 定义 。 


2007 年 





1) 作为 一 个 完全 成 熟 的 实践 ， 完 成 定义 以 文本 清单 的 形式 出 现在 
团队 工作 室 中 ， 在 当时 已 经 变 得 非常 普遍 。 


2) 为 了 给 受 看 板 局 发 的 敏捷 计划 实践 提供 一 个 讨论 场所 ， 创 建 


了 “kanbandev” 邮 件 列 表 。 


3) 最 初 的 一 些 经 验 总 结 报告 来 自 使 用 看 板 的 特定 修改 方案 的 团队 
(没有 迭代 ， 没 有 估算 ， 具 有 WIP 数 量 限 制 的 持续 任务 板 ) ， 包 括 来 目 
Corbis (David Anderson ) 和 BueTech (Arlo Belshee) 的 报告 。 











4) 简化 后 的 3 列 任务 板 格式 〈*to do”“in progress”“done”) 在 那 时 变 
得 比 最 初 的 5 列 格式 更 受 欢 迎 ， 也 更 加 标准 化 。 


2008 年 


1) Alan Cooper 在 Agile 2008 大 会 上 发 表 了 主题 演讲 ， 标 志 关 敏捷 和 
交互 设计 之 间 的 正式 和 人 解 ， 长 期 以 来 ， 二 者 被 认为 是 相互 排斥 的 。 
Cooper 是 作为 “外 部 人 士 ?被 敏捷 领袖 们 邀请 来 的 ， 但 在 第 二 年 ， 他 就 被 
认为 是 很 “内 部 ”的 人 士 了 。 


2) Cem Kaner 给 出 了 探索 式 测 试 的 新 定义 ， 反 映 了 这 种 测试 风格 一 
直 在 持续 改进 中 。 


3) Kane Mar 以 故事 时 间 (story time) 作为 名 称 ， 首 次 正式 描述 了 
待 办 事项 列表 梳理 (backlog grooming) ， 并 建议 将 其 作为 一 个 例 行 会 
Ws 


4) 在 Agile 2008 大 会 中 ， 设 并 了 一 个 论坛 ， 专 门 讨论 用 户 体验 的 相 
关 实 践 ， 比 如 可 用 性 测试 _ (usability〉 、 用 户 画 像 (personas) 或 纸 上 原 
型 (paper prototyping) 。 





5) Jeff Patton 在 《新 的 用 户 故 事 符 办 事项 列表 是 一 张 地 图 》 (“The 
New User Story Backlog is a Map”) 一 文中 图 文 并 成 地 描述 了 故事 地 
(story mapping) 的 实践 。 


6) 尽管 最 初 几 次 提 到 团队 使 用 完成 束 结 〈definition of ready) 的 日 
期 是 在 2008 年 年 初 ， 但 首次 正式 地 摘 述 似乎 是 在 2008 年 10 月 ， 此 后 不 久 
被 纳入 官方 Scrum 培 训 材 料 中 。 


2009 年 


1) 持续 部 署 的 实践 已 经 很 好 地 被 确立 ， 尽 管 仍 然 有 一 些 争 议 ， 就 
像 Timothy Fitz 在 一 篇 评论 文章 《IMVU 的 持续 部 团 》 (“Continuous 
Deployment at IMVU”) 中 证 实 的 那样 。 持 续 部 普 已 经 变 得 非常 重要 ， 
不 但 是 在 敏捷 模式 中 ， 而 且 在 更 专业 、 更 新 的 领域 中 已 经 成 为 核心 要 
素 ， 如 精益 创业 〈lean startup) 或 DevOps。 


2) 两 个 研究 看 板 方法 的 实体 机 构成 立 ， 一 个 是 “精益 系统 协 
会 ”(Lean Systems Society) ， 致 力 于 解决 商业 问题 ; 另 一 个 是 不 太 正 
式 的 “有 限 WIP 协 会 ”(the Limited WIP Society) ， 致 力 于 提升 社区 知名 
度 。 


2010 年 


在 Freeman 和 Pryce 的 《测试 驱动 的 面 同 对 象 软件 开发 》 一 书 中 ， 全 
面 描述 了 模拟 对 象 (mock object) 、TDD 和 面向 对 象 设 计 的 整合 。 


2011 年 


待 办 事项 列表 梳理 (backlog grooming) 实践 被 正式 纳入 Scrum， 并 
收录 进 《Scrum 指 南 》 (“Scrum Guide”) 中 。 


2015 年 


James Coplien 发 表 了 文章 《两 人 智 芒 胜 过 一 人 》 (“Two Heads Are 
Better Than One”) ， 概 述 了 结对 编程 的 历史 ， 它 的 起 源 可 以 退 漳 到 20 世 
纪 80 年 代 中 期 (如 果 不 是 更 早 的 话 )。 


2017 年 


Janet Gregory 和 Lisa Crispin 给 出 了 敏捷 测试 的 定义 ， 标 志 着 该 主题 
首次 有 了 一 个 简洁 的 定义 。 


附录 C 后 敏捷 时 代 蜂 DevOps 及 展 史 


后 敏捷 时 代 的 事件 
2009 年 


很 多 研究 者 以 Scrum 为 基础 开发 出 不 同 的 软件 开发 框架 。Corey 
Lads 在 《Scrumban: 精益 软件 开发 的 看 板 系 统 文章 》 (Scrumban: 
Essays on Kanban Systems for Lean Software Development) 一 书 中 提出 了 
Scrumban 软 件 窟 理 框 染 ， 结 合 了 Scrum 和 看 板 方 法 。 


2011 年 


Dean Leffingwell 在 其 网 站 上 发 布 了 规模 化 敏捷 框 染 (scaled agile 
framework, SAFe) 1.0， 上 旨 在 促进 多 个 敏捷 团队 之 间 的 协作 ， 降 低 团 队 
管理 的 复杂 性 。 


2013 年 


Craig Larman 和 Bas Vodde 开 发 的 规模 化 敏捷 框架 被 正式 命名 
为 Large-Scale Scrum (LeSS) ， 目 标 是 降低 组 织 的 复杂 性 。 


2015 年 


敏捷 框架 Nexus 正 式 发 布 ， 用 于 开发 和 维护 大 型 软件 开发 项 目 。 
《Nexus 指 南 》 包 含 了 40 种 以 上 的 实践 ， 可 以 同 《Scrum 指 南 》 一 起 用 于 
扩展 Scrum 和 文 持 多 个 软件 开发 团队 的 集成 工作 。Ken Schwaber 是 
《Nexus 指 南 》 的 作者 ， 也 是 《敏捷 宣言 》 的 作者 之 一 和 Scrum 联 盟 的 缔 


造 者 。 





DevOps 发 展 史 


2007 年 


Patrick Debois 是 一 位 比利时 的 独立 IT 咨询 师 ， 也 是 敏捷 实践 的 拥护 
者 。Patrick 对 那些 需要 在 开发 和 运营 之 间 来 回 切换 的 项 目 感到 泪 形 ， 深 
切 感 受到 传统 模式 下 的 运 维 之 痛 ， 以 及 敏捷 开发 模式 与 运 维 模式 的 割 


J 


洋 


2008 年 


在 美国 加 州 的 旧金山 ，O’Reilly 出 版 公司 举办 了 一 场 名 
为 “Velocity” 的 技术 大 会 ， 主 题 是 讨论 Web 应 用 的 性 能 和 运 维 。 会 后 几 
位 来 自 美国 奥斯汀 的 系统 管理 员 和 开发 人 员 新 开 了 一 个 名 为 “The Agile 
Admin” 的 博客 ， 目 标 是 讨论 和 分 享 天 于 敏捷 在 IT 系统 管理 中 的 重要 
性 。 





2008 年 


在 多 伦 多 召开 的 Agile 2008 大 会 上 ，Debois 分 享 了 自己 的 话题 : 如 
何在 运 维 工 作 中 应 用 Scrum 和 其 他 敏捷 实践 。Patrick Debois 和 Andrew 
Shafer 会 面 并 讨论 了 如 何 解决 开发 团队 和 运营 团队 之 间 存 在 的 问题 。 会 
后 二 人 在 Google Groups《〈 和 谷歌 论坛 ) 上 建立 了 一 个 名 为 Agile System 


Administration” 的 讨论 组 。 





2009 年 


来 自 Flickr 公 司 的 John Allspaw 和 Paul Hammond 在 Velocity 2009 年 年 
会 上 做 了 题 为 《每 天 部 署 10 项 以 上 : Flickr 的 Dev 和 Ops 合 作 》 (“10+ 
Deploys Per Day: Dev and Ops Cooperation at Flickr”) 的 演讲 。 这 是 一 场 
又 动 世界 的 演讲 ， 引 发 了 整个 行业 对 于 软件 部 署 发 布 的 思考 。 


2009 年 


Patrick Debois 在 比利时 根 特 举 办 了 名 为 DevOpsDays 的 研讨 会 ， 并 
把 开发 和 运 维 两 个 词组 合 起 来 创造 了 DevOps 这 一 术语 。 至 此 ，DevOps 
开始 真正 流行 。 


2010 守 


第 二 届 DevOpsDays 大 会 在 美国 元 利 夫 兰 州 举 办 ， 至 此 其 成 为 年 度 


2011 年 


维基 百科 上 出 现 对 DevOps 的 定义 ， 即 DevOps 古 一 组 过 程 、 方 法 与 
系统 的 统称 ， 用 于 促进 开 及 、 运 维和 质量 保障 部 门 之 间 进 行 沟通 、 协 
作 与 整合 。 





2012 年 


Puppet 公 司 的 Alanna Brown 发 布 了 第 一 份 DevOps 年 度 报 告 。 


2013 年 





Gene Kim、Kevin Behr 和 George Spafford 出 版 了 《凤凰 项 目 : 一 个 
IT 运 维 的 传奇 故事 》， 以 一 个 虚构 的 故事 介绍 了 DevOps 的 概念 ， 并 讲 
述 了 一 个 IT 项 目 如 何在 一 个 组 织 里 通过 DevOps 的 转型 "起死回生 ”。 


2014 年 


Nicole Forsgren、Gene Kim 和 Jez Humbl 开 始 发 布 DevOps 年 度 报 
各 。 他 们 发 现 DevOps 的 采用 在 日 益 加 速 。 


2016 年 


Gene Kim、 Jez Humble、Patrick Debois、John Willis 和 John Allspaw 
共同 出 版 了 《DevOps 实 践 指南 》 一 书 。 


2017 年 





维基 百科 更 新 了 对 DevOps 的 定义 ， 即 DevOps 是 以 统一 软件 开发 和 
软件 运 维 为 目标 的 一 种 软件 工程 文化 与 实践 。 市 场 调研 公司 Forrester 称 
2017 年 为 “DevOps 年 "。 在 Forrester 公 司 的 报告 中 还 称 ， 多 达 50% 的 组 织 
正在 实施 DevOps。 


2019 年 


DevOpsDays 十 周年 庆典 活动 在 其 发 源 地 比利时 的 根 特 市 〈Gent) 
举行 ， 来 自 世 界 各 地 近 500 位 DevOpsDays 活 动 的 组 织 者 和 DevOps 实 践 者 
参加 了 此 次 大 会 。 


2019 年 


全 球 多 达 80 个 城市 举办 了 DevOpsDays 大 会 ， 包 括 北 京 和 上 海 。 


附录 D 中国 敏捷 调试 大 事 记 


2004 年 


Cem Kaner、James Bach 和 Bret Pettichord 合 著 的 《软件 测试 经 验 与 
教训 》 中 译本 出 版 ， 虽 然 这 本 书 不 限于 敏捷 测试 还 是 传统 测试 ， 但 其 中 
介绍 的 探索 式 测 试 ， 尤 其 是 上 下 文 驱动 的 软件 测试 后 来 成 为 敏捷 测试 的 
重要 思想 。 








Kent Beck 所 著 的 《测试 驱动 开 及 : 实战 与 模式 解析 》 中 译本 出 
版 。 


2009 年 


ThoughtWorks 文 集 《 软 件 开发 沉思 录 》 第 一 次 在 “第 13 章 企业 Web 
应 用 中 的 敏捷 测试 和 深 布 测试 ” 提 到 的 测试 生命 周期 中 提 到 敏捷 测试 。 


2010 年 


1) Lisa Crispin 和 Janet Gregory 合 车 的 《敏捷 软件 测试 测试 人 员 与 
敏捷 团队 的 实践 指南 》 中 译本 出 版 。 


2) 朱 少 民 在 《程序 员 》 杂 志 2010 年 第 10 期 发 表 文 章 《 敏 捷 测 试 的 
方法 和 实践 》， 详 细 论 述 了 敏捷 测试 的 流程 、 策 略 、 方 法 和 实践 等 ， 这 


是 国内 第 一 篇 在 正式 出 版 物 上 发 表 的 系统 解释 什么 是 敏捷 测试 的 文章 。 


2011 年 


朱 少 民 在 《程序 员 》 洒 志 2011 年 第 9 期 太 表 文章 《敏捷 测试 的 思考 
和 新 发 展 》， 详 细 论 述 了 ATDD、BDD、 探 索 式 测试 和 自动 化 测试 在 敏 
捷 测 试 中 的 地 位 、 价 值 和 实践 ， 是 国内 最 早 提倡 ATDD、BDD 和 探索 式 
测试 等 实践 的 正式 发 表 的 文章 。 


2012 年 





1) 陈 蜡 〈 左 耳 条 耗子 ) 发 表 文章 《我 们 需要 专职 的 QA 吗 》， 在 妆 
时 引起 了 热烈 的 讨论 。 文 中 旗帜 鲜明 地 提出 “不 需要 全 职 的 QA， 甚 至 不 
需要 QA 这 一 专职 角色 或 部 门 ， 因 为 不 懂 开 发 的 人 必然 做 不 好 测试 >"。 文 
中 的 QA 指 的 束 是 测试 人 员 。 





2) 由 朱 少 民主 编 的 《完美 测试 : 软件 测试 系列 最 佳 实践 》 是 国内 
第 一 本 比较 系统 地 介绍 敏捷 测试 的 图 书 ， 包 括 敏捷 测试 的 方法 和 实践 。 





3) 第 1 届 中 国 软 件 测试 大 会 第 一 次 开始 设立 敏捷 测试 分 论坛 ， 这 也 
古国 内 技术 大 会 第 一 次 设立 敏捷 测试 分 论坛 。 演 讲话 题 涉及 测试 的 敏捷 
之 道 、 敏 捷 测 试 实践 和 敏捷 测试 管理 的 挑战 等 。 





2013 年 


矶 坤 在 InfoQ 网 站 发 表 “ 敏 捷 上 自动 化 测试 ”系列 文章 ， 分 至 敏捷 项 目 


中 的 目 动 化 测试 创新 经 验 ， 该 系列 文章 被 《架构 师 》 月 刊 连续 收录 ， 对 
应 的 英文 论文 被 ACM SIGSOFT 收 录 。 





2014 年 


由 朱 少 民主 编 的 《软件 测试 方法 和 技术 》 《第 3 版 ) 是 国内 第 一 本 
介绍 敏捷 测试 的 大 学 教材 。 


2017 年 


Janet Gregory 和 Lisa Crispin 合 车 的 《深入 敏捷 测试 整个 敏捷 团队 
的 学 习 之 旅 》 中 译本 出 版 。 这 本 书 仍然 没有 明确 “什么 是 敏捷 测试 >"。 不 
过 ， 在 同一 年 ，Jane 和 Lisa 在 其 网 站 上 给 出 了 关于 敏捷 测试 的 明确 定 


2018 年 


TMQ 精 准 测试 实践 团队 出 版 了 《不 测 的 秘密 ， 精 准 测试 之 路 》 一 
书 ， 以 故事 的 形式 介绍 和 总 结 了 精准 测试 技术 ， 引 发 了 行业 内 的 讨论 和 
思考 。 


2019 年 





阿里 巴巴 公司 开源 了 混沌 工程 工具 ChaosBlade， 成 为 国内 首 个 开源 
的 混沌 工程 试验 工具 ， 用 于 模拟 互联 网 中 和 常见 的 故障 场景 ， 帮 助 提 升 分 
布 式 系统 的 可 用 性 。 


Casey Rosenthal 等 人 所 著 的 《混沌 工程 : Netflix 系 统 稳定 性 之 道 》 
中 译本 出 版 ， 让 越 来 越 多 的 人 开始 了 解 到 混沌 工程 的 试验 和 基于 故障 
注入 的 测试 方法 。 


2020 年 


随 着 在 线 教育 平台 的 普及 ， 多 位 业内 测试 专家 在 本 年 度 开设 了 敏捷 
测试 相关 诬 程 ， 对 敏捷 测试 的 普及 起 到 了 推动 作用 。 
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